Neos ARのやり方

Neos VR Advent Calendar 2022 11日目の記事です！
昨日はhardhattさんのNeosをやる上で、知っておくと得するTipsでした。

Neos ARとは？

Neos VRを現実空間でプレイしている映像が撮れる仕組みです。

Neos VRでMRできるようにしてみた！😂
近々使うかもなので技術検証中🔧#NeosVR #mixedreality pic.twitter.com/hUgQ7FrUv3

— オレンジ/メタバース撮影技術者 (@orange_3134) September 13, 2022

Neos VRって何？という方はこちら。
最も汎用性の高いメタバースプラットフォームです。

使うもの

• VR機器
• パソコン
• Webカメラ（スマホでもOK）
• VIVEトラッカー

Webカメラ以外にもスマホやミラーレス一眼、ビデオカメラなど、PC上にWebカメラとして映像を取り込める物ならなんでもOKです。

やり方

スマホをWebカメラにする（スマホを使う場合のみ）

このアプリをインストールして、スマホをWebカメラにします。

Android版

iOS版

カメラにVIVEトラッカーを付ける

このようにします。

このようなアダプターを使うと簡単です。

LIVをインストールする

LIVはVRゲームでMR合成をするツールです。
生身の人間がBeat Saberを遊んでいる動画を見たことがあると思います。
あのような動画を撮影するために使われるツールです。

Neos VRはLIVに対応していませんが、LIVのキャリブレーション機能だけ利用します。
Steamからインストールしてください。

LIVでカメラキャリブレーションを行う

カメラを平らな場所に置いて部屋全体が映るようにします。

Steam VRとLIVを起動します。
Mixed Reality Caputureを選んでSTART PCVR REALITY CAPTUREを押します。

キャプチャータブで手動モードに切り替えます。
ターゲットはなんでもいいので適当に今動いているアプリを選びます。

カメラタブで足すボタンを押します。

タイプをビデオカメラにします。
デバイスは使用するWebカメラを選びます。
モードでは可能なら16:9の解像度（1920x1080や1280x720など）を選びます。
カメラが対応していない場合は他の解像度を選びます。精度は落ちますが可能です。
（画像ではDroidCam無料版が640ｘ480のみの対応のため、それを選択しています）

キャリブレーションタブでキャリブレーションを始めるをクリックします。

FROM DESKTOPを選びます。

デスクトップにこんな画面が映ります。
（なぜか他のウィンドウの裏側に出てくることがあるので、見えない場合は全画面になっているウィンドウを最小化してください。）

コントローラーをカメラのレンズに極力近づけて、先端が赤い十字の位置に来るようにしてトリガーを引きます。

別の十字が表示されるので、カメラから十分離れてコントローラーをあわせてトリガー。
この画像よりもっと離れる必要があります。
十分に離れていると下の文字が緑色になります。
また別の場所に十字が出るので繰り返します。

このような画面になったらCONFIRMを押します。
今回合成にはLIVの機能を使わないので、レイテンシーは調整しなくて大丈夫です。

キャリブレーションタブに戻ってしょうさいにチェックを入れます。

**エクスポート→ファイルへ→Unityに（完全）**をクリック。

適当な場所に保存して、メモ帳などで開きます。
この数字はあとで使います。

LIVは起動したまま次のステップへ。

Neos VRの設定

SteamライブラリでNeos VRを右クリック→プロパティをクリック。
起動オプション欄に下をコピペしてください。
-screen-width 1920 -screen-height 1080

Neos VRでNeos ARワールドへ行く

Neos VRを起動してこのURLを開きます。
http://cloudx.azurewebsites.net/open/world/U-orange/R-619fd5a3-253e-4b4c-86aa-80179f895cb6

このワールドにはこんなものが置いてあります。
左にあるのがARカメラです。

また、Neos VR内で自分にトラッカーがくっついてきているのが見えると思います。
一つは本物のトラッカー、もう一つはLIVが生成したカメラのレンズ位置を表すLIVトラッカーです。
現実と見比べてどっちがLIVトラッカーなのか確認しましょう。

ARカメラを掴んでLIVトラッカーに重ねます。

トラッカーにアタッチをクリックするとARカメラがLIVトラッカーに追従します。

もし本物のトラッカーのほうに追従してしまった場合は、もう一度トラッカーにアタッチボタンをクリックすると追従が解除されますので、やり直してください。

右にある数字のところにさっき開いたメモ帳に書いてあったfov=の後の数字をコピペします。
デスクトップにミラーリングをクリックするとボタンの表示がミラーリング中となり、デスクトップにARカメラの映像が映ります。

OBSで取り込む

OBSを起動します。
ソースで＋ボタンを押してゲームキャプチャを選択。
モードを特定のウィンドウをキャプチャに。
ウィンドウでNeos VRを選びます。

さらにソースで＋ボタンを押して映像キャプチャデバイスを選択。
Webカメラのデバイスを選びます。
Webカメラの取り込みサイズによってはこうなっているかもしれません。

映像キャプチャデバイスを選択した状態でCtrl+Sを押すと全画面にフィットします。

ゲームキャプチャを映像キャプチャデバイスより上にします。

ゲームキャプチャを右クリック→フィルタ。
＋ボタンでクロマキーを追加します。

フィルタ画面を閉じるとこうなっているはず。
Neos ARの完成です！

もし手を動かしたとき、Webカメラの遅延が気になる場合はゲーム側を遅延させることで調整できます。
ゲームキャプチャのフィルタ画面で＋ボタンを押してレンダリング遅延を追加します。
遅延量をちょっとずつ変えながらいい感じのところを見つけましょう。

Neos ARで遊ぶ

Webカメラを持って動かせばNeos内のカメラも一緒に動きます。
Neos内でオブジェクトを置いたり、ペンで描いたりすれば、あたかも現実にオブジェクトやペンで描いたものが存在しているように見えます。
OBSで録画してTwitterに投稿しちゃいましょう。
一歩先の未来って感じで面白いですよね。

現実側にグリーンバックを用意すればこんな撮影も可能です。

このワールドに展示されている3D作品はNeos VRの中で制作されています！😋
最先端の制作環境をフル活用して実現した展示、ぜひその目で体験してください！🎉#NeosVR #青柳美扇 https://t.co/vkk9SvshmE pic.twitter.com/9OUGOLUX7H

— オレンジ/メタバース撮影技術者 (@orange_3134) November 14, 2022

やってみてね～！👏