はじめに
AppleのiPad Pro(2020), iPhone12 Proに搭載されたLiDAR機能について調べる機会があったので記事としてまとめました。誤りなどあればご指摘お願いします。
※2021年4月中旬時点の情報となります。
TL;DR
- 【前提】LiDARの機能を使うためにはARKitを使うことになる
- 機能は主に以下
- 点群データの収集
- 3次元座標データ(XYZ)と色情報(RGB)
- 点群データをもとに空間の認識、可視化が可能
- オブジェクトオクルージョン
- オクルージョン：遮蔽を表現する手法
- 点群データの収集
LiDAR(Light Detection and Ranging)とは
- 物体との距離を測るセンサのこと
-
物体に光を照射し反射して戻ってくるまでの時間で距離を計算するdToF(Direct ToF)方式と反射した光の位相差から距離を求めるiToF(Indirect ToF)方式がある
- iPhoneではdToF方式
- 事例としては車の自動運転技術や3Dの測量技術、森林や山など自然を把握するためなど様々な用途に使われている
ARKitとは
- iOSデバイスのカメラ機能とモーション機能を統合し、Appやゲームの中で拡張現実体験を生み出すためのフレームワーク
- 2021年4月現在バージョン4.0
- 3.5から一部LiDARが利用できるようになった
- 4.0からLiDARで深度を測れるようになった
- 主な機能
- 平面（水平、垂直）の検出
- 3.5でScene Geometryにより壁、床、天井などを判別可能になった
- LiDARで高速に検出可能
- ポジショントラッキング
- どこにあるか、どこを向いているか
- ★LiDARにより効果がありそうな部分
- モーションキャプチャ
- 人の骨格を推定し、動きを認識
- ★LiDARにより効果がありそうな部分
- オクルージョン
- 遮蔽の判定（物の前後関係など）
- ★LiDARにより効果がありそうな部分
- 現実空間のサイズ、距離の測定
- 座標、明るさ、当たり判定など
- 環境マッピング
- 顔認識
- 2D画像認識
- etc
LiDARが搭載されているApple端末？
iPad Pro 11インチ（第2世代）、iPad Pro 12.9インチ（第4世代）、iPhone 12 Pro、iPhone 12 Pro Max）
※ 参考URLの情報にもあるがiPad ProのLiDARのほうが性能がよいらしい。CPUも関係あるのか？