使用したデバイス
iPhone 12 pro
iOS 14.2.1
NDIが上手く接続できないとき
Firewallが有効になっていないかチェックする
ZIG SIM のdepthとdisparity
深度情報はRGBAのアルファチャンネルに入ってる。
Camera → FRONT
Depth Type → DEPTH
遠くが白(255)、近くが黒(0)
なんだけど1mくらいしか見えない。32bitでとって8bitで送信してる？
Camera → FRONT
Depth Type → DISPARITY
遠くが黒(0)、近くが白(255)
結構遠くまで見える
Camera → REAR
Depth Type → DEPTH
遠くが白(255)、近くが黒(0)
超広角カメラと広角カメラで差視を取ってるっぽい
1mくらいしか見えない。32bitでとって8bitで送信してる？
Camera → FRONT
Depth Type → DISPARITY
遠くが黒(0)、近くが白(255)
超広角カメラと広角カメラで差視を取ってるっぽい
結構遠くまで見える
背面のライダーは指で隠した状態でも動くので、
背面のLiDARは使われていない(と思う) → ZIG CAMを使おう
座標系がなんか合わない
TouchDesignerの座標系は 右手系、up軸y
オペレーターのwindowなどは左下が原点となる
また、上記に示す通り使用する設定によってはz軸が反転するので注意
iPhone(iPad)のカメラ行列は？
以下を参考にswiftアプリ内からも取得できるが、
以下の参考リンクのように、推定することもできる。(記事内のcalc_K)
ただし、これは本来レンズに固有のパラメータではあるが、スマホのカメラのように、オートフォーカスなどでリアルタイムにレンズの特性が変化するようなデバイスは、本来は常時算出することが望ましい。
デバイスが変わったらなんか挙動が違う
iPhoneとiPad、各世代で微妙に配置やスペックが違っていたりする
https://www.itmedia.co.jp/mobile/articles/2011/20/news031.html
https://xtech.nikkei.com/atcl/nxt/column/18/01459/102800001/
レンズについてはここが詳しい
https://xn--35mm-y27hg92j.com/cameras/apple/iphone12promax/
NDIは各チャンネル8bitしか送れない?
(2020年あたりの情報)
https://support.newtek.com/hc/en-us/articles/218109667-NDI-Encoding-Decoding
https://forums.newtek.com/threads/10bit-ndi-options.162178/
NDIは常に内部的には16ビットですが、YUV 8ビットフォーマットを使用したオンランプとオフランプによって人為的に制限されています。
理論的にはNDIに16ビット（つまり10ビット）を入出力する方法がありますが、まだ全てのプラットフォームで完全に実装されているわけではありません。
つまり、機能は提供されつつありますが、まだ完全には提供されていないのです。
例えばSienna NDI Signal Generatorは長い間テストストリームとして10ビット（または16ビット）をサポートしてきましたが、NDI SDKが全てのプラットフォームで16ビットを完全にサポートし、主要ベンダーがソフトウェアをアップデートしてサポートするまで、おそらく私たちはもう少し待つ必要があります。
そうすれば、10ビット以上のワークフローをエンドツーエンドできちんとサポートできるようになります。