なぜ船上ではARの位置合わせがズレまくるのか？ ARカメラマンが解説します！

私は船に乗るのが大好きです。そして、船に乗ったら必ずやることがあります。
それは スマホARでの撮影 です！

最近では、愛知県・日間賀島での船旅でAR撮影を試してみました。
そのときの様子がこちらです。

動画をご覧いただければわかるように、CGが桟橋に引っ張られたり、空中を漂ったりと、 位置合わせが大暴れ しています。

こちらは、三重県志摩市の「賢島エスパーニャクルーズ」で撮影した動画です。
上ほどではありませんが、やはり位置がズレています。

どうしてこんなことが起きるのか？

理由は、スマホARが 2つのセンサーを併用して位置推定をしているから です。

このうちIMUは、加速度センサーとジャイロセンサーを組み合わせたもので、スマホの回転や加減速を高頻度で捉えています。

ところが、船が出港して加速したり、カーブを曲がったりすると、IMUは「スマホが動いている！」と判断します。
一方、カメラは、甲板などの視覚的な特徴点が変化しないことから、スマホが「ほぼ静止している」と推定します。

この矛盾がARの動作に混乱を招き、CGが暴れ出すわけです。

センサー	主な役割	船が動いたときの反応	船上ARでの影響
IMU	スマホの加速度・回転を検知する	船の加減速や揺れを「スマホの動き」として検知	CGがズレる原因になる
カメラ	スマホが見ている映像（特徴点）から位置を推定	視野内の特徴点が動かないため「静止」とみなす	CGをその場に固定しようとする

このように、IMUとカメラで 世界の見え方 がまったく異なっていることが原因で、ARの座標系が混乱してしまいます。

この現象は船だけで起きるわけではありません。

など、あらゆる「乗り物内のAR体験」で発生しうる現象です。

ですので、もしこれから 乗り物内でのARイベントやサービス を企画している方がいたら、
ぜひこの問題を知っておいてください。
実現にはかなりの工夫が必要です。

この話をすると、
「自分は飛行機でもちゃんとARできたよ？」
「船の上でも問題なく動いたけど？」
という声をいただくことがあります。

実はそれ、乗り物が等速直線運動をしていたため、センサーの矛盾が起きにくかったのかもしれません。

たとえば、以下の動画は船が安定して直進しているときに撮影したものです。

スマホを動かしてもCGがズレていません。

これはIMUが 加減速や回転に敏感である一方、等速直線運動には反応しにくい 性質によるものです。

等速で進んでいる間、IMUは「動いていない」とみなすため、カメラと矛盾が生じにくくなります。
つまり、直進中の船上は、実質的に“地面の上にいる”のに近い状態と考えられます。
（ただし、GPSや気圧、揺れなど完全には一致しません）

また、船内の柱や柵など、視覚的特徴が豊富な場所で撮影したことにより、カメラによる推定が安定しやすかったとも考えられます。

まとめると、以下のようになります。

つまり、熟練のARカメラマンであれば
「直進している瞬間だけ撮影する」というテクニックで対応可能ですが、
不特定多数の人に体験させるイベントには向きません。

「船がまっすぐ進んでいる10分間だけAR体験OK！」という運用ができれば理論上は可能ですが、現実的なイベント運営としては不可能なレベルでしょう。

私はこれからも、船の上でのARに挑み続けます。
そして「乗り物×AR」の課題やコツを、発信し続けていきたいと思います。

もし同じようなチャレンジをされている方がいれば、ぜひ交流しましょう！
X（旧Twitter）でも発信していますので、コメントお待ちしています。