webRTC 超低遅延化を目指して VRのサーバー処理

スマホVRは、手軽で楽しいが処理能力の制約がある。また、360度映像の配信において、360度全ての映像を常に送り続ける必要はない。
つまり、見ている方向を検知してその部分だけの映像を遅れるようにすれば、映像のサイズも小さくなるので遅延が少なくなるはず！(配信側PCのCPUは上がると思うが)
全て、コンピューターでやって映像だけ送ってしまおう！
そうすれば超低遅延化できるはず！　という記事のまとめです。

webRTC 超低遅延化を目指して VRのサーバー処理(1) [更新 : 2018.08.19]

• 方法を探る
  • どのアプリケーションを使うか
• Unityからクライアントまで
  • Unityで360度映像を表示する
    • Unityのダウンロード
      • 独り言
    • sphereに360度映像を貼り付ける
  • Unity内部のカメラ映像をsyphon経由で出力する
    • 問題
      • CamTwistを二回経由する問題
    • 改善
      • 360度映像をUnityで再生する

webRTC 超低遅延化を目指して VRのサーバー処理(2)[更新 : 2018.08.20]

• 双方向通信
  • Unity内のカメラと視聴デバイス同期
    • 方法
      • websocketによる通信
    • カメラ姿勢の同期
      • スマホの姿勢推定
        • A-Frameを使う
          • A-frameのバグ?
      • クライアント → サーバー
      • サーバー → Unity
    • アスペクト比を同期する
      • クライアント側
      • Unity側
  • Unityから送信した映像を表示する
    • CamTwist → 配信用ブラウザ → クライアント
  • テスト

webRTC 超低遅延化を目指して VRのサーバー処理(3)

• 双方向通信の改善
  • Syphonの出力サイズをインタラクティブに変更する