ParsecTOP : ParsecをTouchDesignerで使って低遅延60FPSストリーミング送受信

この記事はTouchDesigner Advent Calendar 2020の3日目の記事です。

前日（2日目）の記事は @nariakiiwatani さんの「[TouchDesigner]gitでのバージョン管理を支援するtox」です。
翌日（4日目）の記事は @YuskeGoto さんのTouchDesignerとGrblでやる貧乏人のためのステッピングピングモーター制御入門」です。

この記事は過去の記事に内容を追加したVersionです。

ParsecTOP

Parsecはインターネット経由のテクスチャストリーミングによってゲームする用途として提供されています。低遅延でFullHD, 60FPSで映像を伝送することができるので、様々なケースに有用です。同じネットワーク上でなくても、インターネット経由で映像の低遅延ストリーミングを実現しています。詳しくはこちら。

https://parsecgaming.com/
主にビデオストリーミングを通じてゲームをプレイするために使用される独自のフリーウェアデスクトップキャプチャアプリケーションです。

ということで、Parsec SDKを利用して、テクスチャストリーミングとテクスチャに同期したデータをTouchDesignerで送信と受信できるようにCPulsPuls OperatorでParsecTOP (ParsecHostTOP + ParsecClientTOP)を作ってみました。

• https://github.com/shks/ParsecTOP (TouchDesigner 2020.26630 , windows10で動作テスト済み)

映像送出側はHost (ParsecHostTOP) と映像受信側は Client(ParsecClientTOP)を用います。

Setting up Parsec

まずはParsecのアカウントが必要です。https://parsecgaming.com/からアカウントを作成し、Parsecアプリをダウンロードしてください。

ホスト（テクスチャを送出できる元のコンピュータ）になれるのはハードウエア制約ありのwindows10（GPU等）のみなので注意してください。

Parsec API にログインして session_id と peer_id を取得

Parsecのストリーミングセッションを確立するためには、session_id と host_peer_idが必要です。これらのIDを取得するには、personal_api_parsec-sdk/login.pyを使用します。詳細は ココ を参照してください。

元のsdk scriptでは、API_HOSTのURLが更新されていなかったので、HOSTを'https://kessel-api.parsecgaming.com/に修正しました。

cd personal_api_parsec-sdk
python login.py

上記を実行しメールアドレスとパスワードを入力してください。(最初の試みでエラーが発生する可能性があり、parsecから受信したメールを経由してアクセスを確認する必要があります。) そうすると session_id と host_peer_id が取得されます。これらは機密情報ですので、他の人と共有しないでください。

{"instance_id":"","user_id":999999999,"session_id":"XXXXXXXXXXXXXXX**872ff21f53a52757399594d5aXXXXXXXXXXXX**","host_peer_id":"1jOuXXXXXXXXXXXXXXXXXXx5je"}

なお、利用可能なホストコンピュータのリストを取得するには、python host.py を実行すると、以下のようになります。下記の例は、2つのホストコンピュータがある状態です。

> python host.py

NAME                 PEER_ID
----                 -------
COMPUTER1            host_peer_idXXXXXXXXXXXXXX
COMPUTER2            host_peer_idYYYYYYYYYYYYYY

上記のスクリプトから、ストリーミングの送出と受信に必要な情報：session_id と peer_idが得られたので、TouchDesignerのParsecTOPで使用します。

ParsecTOP in TouchDesigner

ホスト(映像送出）：ParsecHostTOP

使い方はCPlusPlusTOP のパラメータでParsecHostTOP.dllを指定します。

詳しくは、Githubのサンプルをみてください。

session IDの指定

まず、ホスト側には前述のsession_idの設定が必要です。

ParsecHostTOP_example.toeを開くと、ParsecHostTOP (CPulsPuls オペレータ)が表示されます。パラメータウィンドウを開き、session_idを入力して Reset ボタンを押してください。

送りたいTOPの接続

その上で、送出したい映像のTOPを接続します。現在は1920x1080前提にしていますが、確か4Kも可能であった気がします。60Fpsが可能かどうかは通信環境やマシンスペックに依存する可能性があります。

文字列データの送信（ホスト→クライアント）

ParsecSDKでは映像に同期したイベントデータ（キーボード入力等）を映像受信側に送る仕組みが提供されています。その中で、User Data　形式として、任意の文字列送る事ができます。映像に同期した情報（文字列情報 / string)を送りたい場合には、Senduserdataに入力します。サンプルでは、例として映像内に表示するフレームナンバーの数値をString形式の文字列に入れて、映像と合わせて送出します。

Parsec情報確認と、Client側からの受信データの取得

ParsecHostTOPにInfoDATを接続することで、Parsecのエラーコード、SessionID、接続されてるクライアント数、そして後述するClient側からの受信データ（文字列情報 / string）を取得できます。

クライアント(映像受信）：ParsecClientTOP

使い方はCPlusPlusTOP のパラメータでParsecClientTOP.dllを指定します。詳しくは、Githubのサンプルをみてください。

Session ID, Peer IDの指定

クライアント側の設定には、session_id と peer_idの両方が必要です。

ParsecClientTOP_example.toeを開くと、ParsecClientTOP (CPulsPuls オペレータ)が表示されます。パラメータウィンドウを開き、session_id、peer_idを入力して Reset ボタンを押してください。正しく受信できる場合には、ParsecClientTOPに映像が表示されます。なんらかのエラーが発生している場合には、赤い映像が表示されます。

文字列データの送信（クライアント→ホスト）

ホスト側でクライアントに対して、User Dataデータの送信できたように、クライアント側からも、ホスト側にUser Data（文字列）データの送信が可能です。ParsecHostTOPと同じように（文字列情報 / string)を送りたい場合には、ParsecClientTOPのパラメータSenduserdataに入力します。

文字列データの受信

ホスト側から送信されたUser Data（文字列情報 / string)は、InfoDAT経由で取得できます。サンプル（ParsecClientTOP_example.toe）では、実際に映像と文字列情報が同期しているかを確認するために、InfoDAT経由で取得したフレームナンバーをTextTOPで文字映像にして、取得した映像と重ねて表示しています。映像でもわかるように、映像と文字情報は同期しています。ホスト側で書かれた文字と、メタデータで取得したうえでレンダリングした数字が一致していることがわかります。つまり、映像とメタデータ（文字列データ）が同期していることが確認できます。

映像データとメタデータを同期させて送出できると、沢山嬉しいことがあります。

例えば事前に同期させておいたクロックシグナルデータを入れて時系列をあわせたり、画像認識処理データをあわせて送出したり、映像に同期したfloat 4x4 matrixをメタデータとして送出する等、夢が広がりますね。

例えば、4x4 table DATを文字列にしてホストからクライアント送ることで、映像に同期した4x4マトリクスを送ることができます。

アプリケーション版のParsecでの映像受信

なお、アプリケーション版のParsec（デスクトップ画面全体のテクスチャをストリーミング）をホストとして、ParsecClientTOP　で受け取る事ができます。対応するsession_id と peer_idをParsecClientTOPのパラメータで指定することで、テクスチャを受け取れます。　

さらに、マウス位置も送る事ができます。（クリックイベント等は未対応）

既知の問題

ホスト側のsession_id と peer_id等を変えたときなどに、クライアント側の受信が正しくできない、フレームレートが下がるという問題があります。ホスト、クライアント側双方で Reset ボタンし、Parsec内部処理を初期化すると解決します。

追記

python経由でsessionID, peerIDを取得する機能を追加 (2021.01.15)

https://github.com/shks/ParsecTOP のParsecHostTOP_example.toe内に追加済み。