皆さんメリークリスマス！生体情報連動系インタラクティブコンテンツを作成しているまるです。
今年のTouchアドカレは今月5日に行われた、「Build 2023.11290」の大型アップデートについてまとめます。
個人的には熱望していた機能が沢山実装され、超絶アツいアップデート！
「これみんな知ってるとたぶん役立つぜ」、ってやつを要点絞って紹介していきます。
（その為細かいバグの修正みたいなものは省きます）
まだ知らない方は要チェックです。
では早速いきましょう。
Body Track CHOP
まずはこれ！遂に来ました！
Kinectが不要になるボディトラッキングCHOPです。
注意点としてはWindows専用であることと、NVidiaのMaxineシステムのSDKを使用する為RTX20,30,40シリーズのGPUを必要とすることです。
最大34のキーポイントを2Dまたは3Dで追跡できます。
1人で入力、認識させてみた際のパラメータ例
内部で機械学習モデルを利用しており、ビデオまたはカメラ入力に対して身体姿勢推定を実行します。
身体検出に使用されるAIモデルはConfig/Modelsフォルダに存在します。
今年の8月にMicrosoftがAzure Kinectの生産終了を発表しましたし、より個人ユーザーだと1万円前後で手軽に手に入るKINECT for Windows v2などを未だに利用しているユーザーも多かったんじゃないかと思います。
何を隠そう私がそうです-
そこそこのグラボを積んだPCであれば、
外部デバイスが不要になるのは本当にありがたいですね。
2023年12月24日時点でのバグ
ただ、2023年12月24日時点ではまだパラメータの操作が速すぎるとクラッシュする場合があるそうです。
バグを見つけたらフォーラムへ報告しましょう。
OAK Device CHOP && OAK Select TOP
外部デバイスが要らなくなった！とはしゃいだ矢先ですが、お次はコレ。
OAK-DシリーズのDepthAIカメラの入力CHOPが遂に登場しました！
皆さんOAK-Dシリーズご存じですか？
Microsoftのカメラ系デバイスの潮流がしぼんでいることを受けて、昨今現場で人気の空間認識デバイスです。
アメリカの会社LuxonisとあのOpenCVが共同開発したプロダクトです。
びっくりするのはそのサイズ！小型で持ち運び便利、埋込しやすくて用途が様々。
私は一昨年の海外版KickstarterのクラウドファンディングでOAK-D Liteの固定焦点、自動焦点版をそれぞれ1万円ちょっとで購入しTouchdesignrに使う予定だったのですが、当時は適応できるオペレータがなく手探りでPythonと連携、構築を行う必要がありました。
（フォーラムでは当月から専用サポートCHOPの登場を熱望するスレッドが立てられていました）
そして以前ブログでPythonを使ったやり方を記事にしたのですが、登場当初はDemo.pyが謎エラーでクラッシュしたりと使いこなすのに一工夫必要でした。
今回出来るようになったこととしては、まずPythonのコードを書かなくてもデフォルトのOP経由で映像を撮れるようになったこと。
そして、Touchdesignr側で受信するサンプルレートを指定したり受信するチャンネル数を常に一貫して保ったり、あらゆるクック状態がInfoとして確認しやすくなったことが大きいです。
依然として顔認識、手認識、表情認識などを利用する場合別途Pythonでアルゴリズムを叩く必要はありますが、これにより、より高速なプロトタイピングと安定した動作が可能になりました。
ちなみに接続してみたら、デバイスはどうやら数字の羅列（固有識別ID？）で認識、制御されるみたいでした。
当然、BodyTrackCHOPより精度と安定性は期待できますので、Kinectを失ったけど内蔵GPUじゃ物足りないと感じているそこのアナタ、OAK-Dシリーズ是非お試しください。価格も2万～とお手頃です。
【参考】スイッチサイエンスさんの販売ページ
※4Kストリーミングする際には、xLinkChunkSizeをゼロにして低遅延最適化を忘れないようにしましょう。
Laser Device CHOP && Laser CHOP
はい。EtherDream買いたいけど持ってないのでお見せ出来ません。すみません。
これはその名の通り、TouchdesignrでサポートされているEtherDream、Helios、および ShowNETというレーザーデバイスたちを一群で入力受け止めるようにしたCHOPです。
（之の登場により、EtherDream CHOPなどは非推奨に）
レーザー使った演出をTouchdesignrでやりたいユーザーにとっては嬉しい進化かと思います。
Laser CHOPでは頂点ホールドの最小/最大角度のLook up CHOPとBlank State Channelが追加され、デバッグが容易になったとのことです。
誰かデバイス持ってるひといたら制御の記事書いてほすぃ。
これ以上話しても知ったかぶりになるので飛ばします。
Bloom TOP
これはもう、見たまんまです！
Touchdesignr使いの皆さん、ついにTOP１つで直接バナナを光らせることができるようになりました！！
今までPaletteから呼び出していたものが、遂にTOP化。
パラメータも大きな変化はないので、これは知っておくだけですぐに試せますね。
2023年12月24日時点でのバグ
Bloom alphaが正しく計算されないようです。
これを修正したアップデートが近々リリース予定とのこと。
その他
Pythonが3.11にアップグレード
公式によるとすべての動作が10～60%高速化したそうです。やったね。
Python自体の新機能についてはこちらのリリースノートを参照してね。
GLSL COMPが追加
TOP以外のGLSL OPが追加されたよ。
パネル内のイメージを画面に直接レンダリングできて、解像度が表示される画面の DPI スケーリングに自動的に適応するため、ピクセル精度の UI をレンダリングするのに役立つよ。
Audio Devices DAT / Video Devices DAT
すべての入力および出力オーディオ/ビデオ デバイスをリストする2 つの新しいDATが誕生したよ。
Windows用の軽量Webインストーラーが追加
インターネットに接続されていれば、軽量サイズでTouchdesignrをダウンロード出来るようになりました。
まとめ
BodyTrackCHOP、OAKDLiteを書き終えた辺りから「あれ？このボリュームじゃイブのアドカレ投稿間に合わなくね？？」と気付き始め2日連続投稿予定の @komakinex さんを妨げて敢えてイブを抑えた面目がこれでは立たない！ということで目に見える速度で後半雑解説になりました。
一旦公開するけど、近日中に情報足すかも。
また、ブログのほうでTouchdesignrのTipsを時々発信しているので、需要あれば具体的なユースケースなどそちらでまた紹介予定です。
もうちょっと知りたい、って人はいいねしてくれると嬉しい。では。