こんにちは！こちらは TouchDesigner Advent Calendar 2022 24日目の記事です。

サンプル

今回作ったサンプルは以下にあります。

はじめに

動機としてはライブなどで Azure Kinect を使ってリアルタイムビジュアルを作る時に、バックアップとして事前に REC した Point Cloud のデータをムービーとして再生できるように持っておくようにしたかったというものです。

Kinect v2 の場合には Kinect for Windows SDK 2.0 の Kinect Studio を使用して REC することが可能で、Kinect Studio で REC したデータを再生することで TouchDesigner の Kinect TOP では直接 Kinect v2 を呼んだ時と同じように見えるようですが、Azure Kinect にはそのようなツールが用意されていません。

さてどうするか？ぼくが調べた感じだと方法は2つありました。

1つ目。Kinect Azure TOP または Kinect Azure Select TOP で Point cloud を表示するようにしておいて、それにつないだ Movie File Out TOP で Type を Image Sequence、Image File Type を OpenEXR として連番 exr を書き出し、書き出した連番 exr を Movie File In TOP で読み込む方法で、これでうまくいけば一番楽です。ただ、書き出しが結構重いので解像度と PC のスペックと相談になると思います。ぼくの環境（Alianware m15 R4）の場合、160x90px でやっと Azure Kinect と同じ 30FPS をキープできました。

2つ目はこれに比べると大分面倒くさいですが、この記事の本題です。
以下のような手順になります。

手順

Azure Kinect からのフィードを保存する
保存したフィードから Depth フィードを取り出す
Depth フィードから Point Cloud を生成する

という流れになります。ではやっていきます。

Azure Kinect からのフィードを保存する

まずは Azure Kinect Sensor SDK をダウンロードします。2022年12月23日時点で最新が v1.4.1 です。

Azure Kinect Viewer を起動して Open device < Start の順にクリックして Azure Kinect が動作するとこんな感じになるはずです。

確認ができたら、Azure Kinect Viewer を閉じます。Azure Kinect SDK の tools があるディレクトリ（ぼくの環境だと C:\Program Files\Azure Kinect SDK v1.4.1\tools ）に移動して、コマンドラインから Azure Kinect の Record アプリである k4arecorder.exe を実行します。

最もシンプルなものだと k4arecorder.exe E:\output.mkv で REC を開始、Ctrl + C で REC を終了するというものがあります。

他にも様々なオプションがあり、例えば10秒間 REC して止める、というコマンドは以下のようになります。
k4arecorder.exe -l 10 E:\output.mkv

その他のオプションについては以下のページを参照してください。

ちなみに mkv は様々な種類のメディアデータを格納できる Matroska（マトリョーシカ）フォーマットのファイルです。今回の Azure Kinect の場合だと COLOR, DEPTH, IR, IMU などを含めることができます。

保存したデータから Depth フィードを取り出す

書き出した mkv ファイルから Depth のフィードを取り出すには MKVtoolnix というツールを使うと便利です。専用の GUI である gMKVExtractGUI も DL してしまいましょう。

gMKVExtractGUI を立ち上げたら MKVtoolnix のパスを指定し、書き出した mkv ファイルをドラッグ&ドロップします。

必要に応じて取り出すフィードの種類を選択して書き出し場所を決定し、Extract をすると avi ファイルとして書き出されます。特に何も設定しないと Depth は output_track2_[eng].avi という名前になります。これで Depth のフィードを取得することができました。

Depth フィードから Point Cloud を作成する

この Depth の avi を TouchDesigner のネットワークにドラッグ&ドロップすると Movie File In TOP として再生できますが、今回の目的は PointCloud として使用することです。Derivative のサイトからダウンロードできる Builds には無い機能だと思いますが、以下のページでシェアされている TouchDesigner.2022.29231 Experimental Build を使うと Kinect Azure TOP が transformDepthImageToPointCloud という Depth イメージを Point Cloud に変換する関数が使えるのでこちらの Build を使います。

Depth フィードを読み込んだ Movie File In TOP の後に Math TOP をつなぎます。16-bit Float で Range を 0-0.2 から 0-15 としました。

先程のフォーラムのページでシェアされているファイルにある以下のような python を使用しています。

import numpy

def onCook(scriptOp):	
	# grab the depth image from any top
	depthImg = op('null1').numpyArray()

	# send it to the kinect and get back the point cloud imaage
	pcImg = op('kinectazure1').transformDepthImageToPointCloud( depthImg )

	# upload the point cloud to the script top
	scriptOp.copyNumpyArray(pcImg)

	return

変換を行う Kinect Azure TOP は読み込んだ Depth フィードと解像度を同一にします。この Kinect Azure TOP を使用する際に Azure Kinect のハードを接続していなくてもこの関数は使用できるのですが、エラーを吐いているせいかめちゃくちゃ FPS が落ちるので Azure Kinect は接続して active な状態にしておいた方が好さそうです。

変換ができたら RGB Key TOP を使って必要な分だけ抜き出しました。後は COLOR のデータと組み合わせたりするとよさそうですね！

おわりに

一応動いたけどもっといい方法がありそうな気がするのでご存じの方おられたら是非ご指摘頂けたらうれしいです！

それでは引き続き TouchDesigner Advent Calendar 2022 をお楽しみください！
ありがとうございました～メリークリスマス！！