はじめに
こんにちは！3Dカメラを愛し、3D技術に愛され、3Dカメラを作っている半導体会社には愛されなかった男 Takumi3 depth（です） 。Takumi-san@3Dcamera
前回に引き続き今熱い深セン企業のOrrbec社の3Dカメラ/ToFのFemto Boltについてレビューします！
Femtoの背景（今回これがメインかも）
正直、Kinectの後継として作られてそれなりの時間と日本はKinctユーザーが多いので、製品レビューよりも結構混乱されがちな製品の背景の方がみんな興味あるかも。
Kinectの終焉まで（ざっくり）
Kinectの初代の時は3D業界興味なかったし、ゲームはソニー派だから調べながら書いてる。もともとは家庭向けゲーム機としてマイクロソフトがXbox360と一緒に体感ゲームシステムの一部として発売されたのが初代Kinect。当時はWiiとかで体感ゲーム流行ってたような気がする。2018年からAzure Kinectとして、TOFセンサーやIMUとか色々一つのカメラに搭載して単体としてのビジネスを始める。
しかし、2023年にマイクロソフトがAzure Kinectの製造を終了して、パートナー企業が引き継ぐことを発表。この時期はすでにdepthカメラ業界にいたので覚えている。こういったニッチなセンサー業界は利益率も低いし、そもそも大企業の一部でなんでこの事業やっているか分からなくなるし、米国企業の各国支店の営業は売る気がおきないから基本的にはマニアックな人と代理店に任せっぱなしビジネスになっちゃうよんね。（べ、べつに個人的な想像であって、個人的な経験に基づいているんじゃないんだからね）
OrbbecのFemtoとしての時代
とはいえ、カメラ単体で見れば機能は充実してるし、SDKで色々おもしろいことはできたので深センのOrbbec社がマイクロソフトから技術移管？コラボレーション？としてFemtoの名前でKinectの後継機種の販売を始める。リリース記事
製品としては、
- Femto Bolt ＝Azure Kinectの後継
- Femto Mega ＝Azure Kinect + Jetson Nano (なんで作ったのかは知らない)
- Femto Mega I = Azure Kinectのインダスㇳリアル版(IP規格とかヒートシンク)
余談にはなるが、2023年末ごろからOrbbecの人材確保も活発になって、某ステレオカメラの会社の営業チームとかAzure Kinect SDK作ってた人が移籍している。わざわざアピールするために 記事にしている。
ここで人材の引き抜きが大きくて結構業界内では人の動きがあった、俺もここらへんの余波を受けたのはナイショな。
Femto Boltのレビュー
Kinectにも触ったことないからわからないこと多いし、真面目なレビューはググればいっぱい出てくるからそちらを参考にして。
開封の儀式
箱に入っているのは
- Femto Bolt本体
- USBケーブル（TypeA-C）
- 電源アダプター + 中国？と日本のAC電源の口
三脚はついていなかったり、電源が国対応の口を自分でつけるのは新鮮だった。
ファーストDepthインプレッション
そこまで解像度高くない初期設定でこんな感じ。取れるデータはステレオカメラとあんまり変わらない感じかなー。
解像度を上げる（こんな名前の本があった気がする）
RGBで4Kぐらいまでいけるのは、ロボットとかよりもアーティストとかVJ用途でKinctが強かっことが理解できる。なんかdepthの画角がというか範囲が丸いのは慣れない。
正確に測ったわけではないので経験になってしまうが、測れる距離とかエッジのもやもや感はやはりステレオカメラよりクオリティ高い。
坐殺博徒の印もくっきりみれる。これはPose estimationとかハンドトラッキングで需要があったのが理解できる。
いろいろな対象物比較
真っ平らな封筒
ステレオカメラはこういうテクスチャ少ないもの苦手だけど、エッジもきれいに見えている。ただ、ToFの苦手である反射率の低い黒い部分だけ少しチラついたりdepthが抜ける。
黒いニット帽
とはいえ、黒くて表面に細かい凹凸があってもきれいに取れている。RealSense L515はここまできれいに取れないだろうな。（まあ、あれは発展途上製品やったし、、）
透明なペットボトル
流石に透明なものは難しいかな、
CPU消費率
Depth,RGB,IR,IMU全部付けて、こんな感じ。そんな重さは感じない。
個人的に気に入った点
AC電源なくても動く
ポイントクラウドとdepth on RGBが同時に見れる
各重要パーツの温度がViewerで見れる（他のOrbbec製品もみれるかも）
おわりに
初めてKinect/Femtoを触ったが、ステレオカメラでは難しい物体輪郭のきれいさは感動した。AMRのようなロボットだったらステレオカメラよりもより遠くは見たい場合とか、ピッキングでもっと精度の高いdepthが必要な場合には向いていると思う。
今回は試せなかったが、Azure Kinect SDKで動いていたUnity Body Tracking Applicationにも対応しているっぽうので、こういうので最近のかっこいいVJとかアート作品で使われているんだろうなーと思う。
Orbbec製品が気になる人は連絡ください。