なぜ船上ではARの位置合わせがズレまくるのか? ARカメラマンが解説します!
私は船に乗るのが大好きです。そして、船に乗ったら必ずやることがあります。
それは スマホARでの撮影 です!
最近では、愛知県・日間賀島での船旅でAR撮影を試してみました。
そのときの様子がこちらです。
動画をご覧いただければわかるように、CGが桟橋に引っ張られたり、空中を漂ったりと、 位置合わせが大暴れ しています。
こちらは、三重県志摩市の「賢島エスパーニャクルーズ」で撮影した動画です。
上ほどではありませんが、やはり位置がズレています。
どうしてこんなことが起きるのか?
理由は、スマホARが 2つのセンサーを併用して位置推定をしているから です。
- カメラ(Visual)
- IMU(Inertial Measurement Unit)
このうちIMUは、加速度センサーとジャイロセンサーを組み合わせたもので、スマホの回転や加減速を高頻度で捉えています。
ところが、船が出港して加速したり、カーブを曲がったりすると、IMUは「スマホが動いている!」と判断します。
一方、カメラは、甲板などの視覚的な特徴点が変化しないことから、スマホが「ほぼ静止している」と推定します。
この 矛盾 がARの動作に混乱を招き、CGが暴れ出すわけです。
センサー | 主な役割 | 船が動いたときの反応 | 船上ARでの影響 |
---|---|---|---|
IMU | スマホの加速度・回転を検知する | 船の加減速や揺れを「スマホの動き」として検知 | CGがズレる原因になる |
カメラ | スマホが見ている映像(特徴点)から位置を推定 | 視野内の特徴点が動かないため「静止」とみなす | CGをその場に固定しようとする |
このように、IMUとカメラで 世界の見え方 がまったく異なっていることが原因で、ARの座標系が混乱してしまいます。
実は、船に限らない問題です
この現象は船だけで起きるわけではありません。
- 電車やバスの中
- エレベーター
- 車内
など、あらゆる「乗り物内のAR体験」で発生しうる現象です。
ですので、もしこれから 乗り物内でのARイベントやサービス を企画している方がいたら、
ぜひこの問題を知っておいてください。
実現にはかなりの工夫が必要です。
「でも、飛行機でうまくいったことあるよ?」という方へ
この話をすると、
「自分は飛行機でもちゃんとARできたよ?」
「船の上でも問題なく動いたけど?」
という声をいただくことがあります。
実はそれ、乗り物が等速直線運動をしていたため、センサーの矛盾が起きにくかったのかもしれません。
たとえば、以下の動画は船が安定して直進しているときに撮影したものです。
スマホを動かしてもCGがズレていません。
これはIMUが 加減速や回転に敏感である一方、等速直線運動には反応しにくい 性質によるものです。
等速で進んでいる間、IMUは「動いていない」とみなすため、カメラと矛盾が生じにくくなります。
つまり、直進中の船上は、実質的に“地面の上にいる”のに近い状態と考えられます。
(ただし、GPSや気圧、揺れなど完全には一致しません)
また、船内の柱や柵など、視覚的特徴が豊富な場所で撮影したことにより、カメラによる推定が安定しやすかったとも考えられます。
結論:スマホARイベントは船の上では難しい!
まとめると、以下のようになります。
- 船が加速・旋回中は、IMUとカメラの認識に矛盾が生じてCGが暴れる
- 船が等速直線運動中なら、比較的安定してARが使える
- しかしその時間帯は限られていて、予測も難しい
つまり、熟練のARカメラマンであれば
「直進している瞬間だけ撮影する」というテクニックで対応可能ですが、
不特定多数の人に体験させるイベントには向きません。
「船がまっすぐ進んでいる10分間だけAR体験OK!」という運用ができれば理論上は可能ですが、現実的なイベント運営としては不可能なレベルでしょう。
最後に
私はこれからも、船の上でのARに挑み続けます。
そして「乗り物×AR」の課題やコツを、発信し続けていきたいと思います。
もし同じようなチャレンジをされている方がいれば、ぜひ交流しましょう!
X(旧Twitter)でも発信していますので、コメントお待ちしています。