MetaのARグラス"Orion"と"Project Aria"の関係について

MetaのARグラス"Orion"は手に入るか？

　ある日、MetaからProject Ariaというプロジェクトが公開された。

　これMetaが作ってるARグラスのOrionじゃね？？と私は思った。そして、Aria Research Kitという研究パッケージが公開されている。これに応募したら、ARグラスが提供される。ということは、MetaのOrion先行して使えるんじゃね？？と思った。結果、そんなことはなかった。

この文章でわかることは以下の3点である。

• OrionとProject Ariaで配布されているARグラスは異なる。
• Project Ariaで配布されているARグラスにAR表示機能は存在しない。
• Project Ariaに参加してもOrionが先行して手に入るわけではない。

ただ、Project Ariaのアーキテクチャをみることで、興味深いことがいろいろと分かった。そのことについて、まとめたい。

MetaのOrionについて

MetaのOrionに関する日本語記事は2024年9月27日公開のMetaが見せる「未来のAR」、Orionの秘密に迫るに詳しい。

現状のMeta Orionは3つの部品が公開されている

• ARグラス
• ComputePuck
• EMG

ARグラスについて

ARグラスにはいくつかの特徴が記載されている。まず、カメラが7つ搭載されている。この手のメガネ型のARグラスで搭載されている数にしてはかなり多い。

メガネ部は小さなボディだが、この中には7つのセンサーが入っている。いわゆる手認識や位置認識に使うカメラが2つずつ2セット、視線を認識するためのものとして内側に2つ、そしてAIのためのカメラが1つだ。

また、ARグラスを使う上で重要となる視野角については70度というかなり高性能となっている。

Orionの大きな特徴は「光学シースルー式ARグラス」であるにもかかわらず、視野角が70度と非常に大きいことだ。

Compute Puck

OrionにはCompute Puckと呼ばれる子端末(親端末？)が付属する。

こちらにはQualcommのプロセッサーとQuest用のHorizon OS(すなわちベースはAndroid)のカスタム版が動作しており、メガネ内に比べるとリアルタイム性の低いアプリケーション処理が行なわれている。そしてメガネ部とは通信で連携し、情報が表示されている。リアルタイム系と非リアルタイム系で処理を分割して動かしているので、メガネ部を軽いものに仕上げられているわけだ。

　このタイプのARグラスは珍しい。XRealを代表とするような低価格帯のARグラスであればUSB Type-Cで有線接続するタイプの製品が多い。このように端末と無線でつなぐタイプのARグラスはNTTコノキューが販売しているMIRZAが代表的な例である。

　MIRZAの場合、公式ページによると、AQUOS R9やAQUOS R9 proが動作のために必須となる。この無線で別端末が必要となる点はOrionと近い。
　この「無線でARグラスをスマホとつなぐタイプ」をはじめてみたのは、2022年の5月であった。これはSnapdragon XR2のARスマートグラスのリファレンスデザインとして提示されたものであった。

　このあたりはコンセプトが変わったのか、Snapdragonからは同年12月にはSnapdragon AR2 Gen1というものも公開されている。
　先ほどの、MIRZAはこちらのSnapdragon AR2 Gen1を利用している旨がプレスリリースされている。
　Orionのインタビュー記事によると、

我々は課題を解決するために、13ものカスタムプロセッサーを開発しました。スマホからの流用ではなく、我々のオリジナルです。Compute PuckにはQualcommのSoCが使われていますが、メガネ側で使っているのはオリジナルプロセッサーですね。

とあるため、メガネ部にあるプロセッサはQualcommの石ではないようだ。

EMG

あまり見覚えのない腕輪は、いわゆるコントローラーである。その動作にEMGを利用している。

EMGとは「ElectroMyoGraphy＝筋電位」のこと。Orionでは電極のついた細いバンドのようなものを腕に巻き、EMGを読み取ってそこから「腕や指がどう動こうとしているか」を把握する。

この腕輪をつけることで、手の動きや指の動きを認識し、ARグラスのUIを操作することができる。この分野については面白い内容が多いので、また別の記事で紹介したい。

Project Ariaとは

facebookが公開しているページによると、

Project Ariaは、Meta Reality Labs Research が開発した研究プラットフォームであり、Meta の内部グループと外部の研究者の両方がエゴセントリック データを使用して、コンピューター ビジョン、ロボット工学、コンテキスト AI などのサブフィールドを含むエゴセントリック AI 研究の最先端を推進できるようにします。この奥深い研究領域における最大の問題を共同で解決するには、世界をリードする多くの研究コミュニティの協力が必要であると考えています。

とあり、あくまで研究プラットフォームである強調が強い。また、ARに関する直接的な表現はない。

Aria Research Kitとは

ResearchKitのページには以下のような記述がある。

承認された研究パートナーに対して、Meta は Project Aria グラスと SDK を含むキットを提供しており、研究者が独立した研究を実施して AR の未来を形作ることに貢献できます。

このように研究パートナーに関してはARグラスが配布される。
Aria Research Kitに含まれるARグラスのハードウェア情報はほぼ公開されている。

Orionとの簡単な比較

　OrionにはCompute PuckとEMGという2つの付属品があった。しかし、Aria Research Kit側にはない。また、ディスプレイが存在しないようだ。 先ほどのハードウェア分解図を見てもそれらしい記述はなく、このような機器であればディスプレイの解像度やFOVについて言及があるはずだが、それらしき記述は見つからない。そのため、おそらくディスプレイが存在しない。
　理解の仕方としては、どちらというとRaybanMetaの親玉のようなデバイスであると考えるほうが正しい。ただし、こことも少し異なり、マイクに関しては搭載の記述があるが、スピーカーに関しては記述がない。そのため、音は出ないと考えられる。（しかし、そんな実装するだろうか？という疑問はある）

カメラ

カメラは5つ搭載している。

• SLAM用モノクロカメラ(2つ)
• RGBカメラ(1つ)
• ET(EyeTracking)カメラ(2つ)

Orionと比べてカメラ数は少ない。記述からすると、OrionにはSLAM用のモノクロカメラが追加されているのかもしれない。

センサー

その他のセンサーについては割とひとまとめに解説されている。割と、スマホにありがちなセンサー系ではあるため、そこまで特筆すべきないのかもしれない。

• IMU(2つ)
• 磁力計(1つ)
• 気圧計(1つ)
• マイク(7ch)
• GPS・Wifi・Bluetooth

ただし、個人的に気になった点はマイクである。マイクの記述を取り出すと、

• 48kHzのサンプリングレートを持つ7チャンネルの空間マイクアレイ
• マイクには、2チャンネルのみで録音するステレオモードもあります

とある。マイクが7チャンネルというのは多い。 以下に代表的な端末に搭載されているマイクの個数を整理した。7つというのはAppleVisionPro越えである。

端末	マイクの個数	参照
Pixel9	3	リンク
iPhone16	4	リンク
Quest3	3	リンク
Hololens2	5	リンク
AppleVisionPro	6	リンク

　何個か可能性は考えられるが、1つはスマホに複数のマイクが乗せられているのと同等の理由でノイズキャンセリングである。ARグラスをかけている人の声のみを選択的に取得するために複数台を搭載している。2つ目は話者推定。カメラの画像に映っている"どの人"が"どんなことを話しているのか"というところを解析するため、カメラに写っている人間毎に音を分離する必要があるため、このような複数のマイクアレイが必要なのかもしれない。

CPU・OS

CPUとOSに関しても個人的には興味深かった。というより、私はこのスペックを見たときに、「これはOrionではない」と認識した。

• Qualcomm SD835, 4GB RAM, 128GB storage
• Android 7.1

Wikipediaによると、SnapDragon 835は2017年1月3日に公開されている。もう7年前のCPUである。Android 7.1のコードネームはヌガー。リリース日は2016年8月16日。こう考えてみると、かなり古い時代から作られているという認識がある。

Nreal Developer Kit

OSについて調べていた時に、ある既視感があった。その既視感の正体とは、Nreal Developer Kitである。WikipediaにあるAndroid 7のスクショがこれである。

　Nreal Developer Kitにつないだ時の表示がこれである。参考記事

これをみるとNreal Developer Kitに含まれていた端末はおそらくAndroid 7である。また、資料によると、この端末に乗っているSoCはSnapdragon 845である。
　Meta社がARグラスの開発を宣言したのは2019年9月26日のOcculus Connect 6らしい。NrealのDev Kitが2019年であり、SoCにもそれほど乖離がないことを考えると、実はAria Developer KitとNreal Developer Kitはほぼ同時期のハードかもしれない。

Google 「Glass Enterprise Edition 2」

　もう1つベンチマークを挙げるとするとGoogle Glassである。Google Glassは初代2013年に生まれ、その当時では画期的なハードであると喧伝されていたが、プライバシーが問題視され、それ以降、注目されることはなかった。しかし、2021年8月10日に法人向けとして再販されている。(しかし、2023年3月15日に終売)

このスペックを抜粋すると、

• Qualcomm Snapdragon XR1
• Android 8.1（Oreo）

となっており、2021年頃のスペックがこのあたりなので、それ以前のハードであると考えるOSがAndroid 7であるということは、ある意味で妥当であると感じられる。

重量・稼働時間

話は戻り、Aria Developer Kitのグラスについて、調査を続ける。

重量75g、フレーム幅147mmと152mmの2サイズ、調整可能なノーズパッドとテンプルアーム付き（フィットカバー率87%）

XRealの最新モデルであるXReal One Proが87gであることを考えると、ほぼ同等か少し軽い。
　私が一番重要視しているバッテリー容量(稼働時間)にも言及がある。

容量は2.5Whです。動作時間は録画プロファイルによって異なります。プロファイル0使用時のバッテリー寿命は連続録画1.5時間+スタンバイ30時間です。

おおむね連続動作時間は1.5時間であり、スタンバイ表示だと30時間、大体1日持つという感じであろう。このあたりのスペックにもあまり驚きはない。例えば、私が利用しているINMO Air2では約1時間。NTTコノキューのMIRZAでも1～1.5時間という記載がある。そのため、動作させると1時間前後しか電池が持たないというのは、このタイプのARグラスの宿命であると感じる。

Project Aria Research KitとOrionの外形の比較

ここで外形的な比較を行いたい。並べてみると意外に形状が異なることに気づく。

　Project Aria側はレンズの一部を隠すように大きなRGBカメラがあるのに対し、Meta Orionはそれがない。また、アイトラッキング用カメラもAria側では自己主張が強いデザインであったが、Orionでは、本当に普通のメガネのようにデザインされている。これは、やはりOrionが一般的なデバイスに向けた修正を行っているからだと思われる。
　私が一番気になっているのはバッテリー形状である。これは大丈夫であろうか。という疑問が非常にある。端的にバッテリーサイズをダウンするということは容量が低下し、稼働時間が短くなる原因となる。
　このデザインとバッテリーの問題はかなり溝がある。過去にSnapchatが公開したAR対応スマートサングラスである第4世代Spectaclesは稼働時間が30分であった。

　おそらくデザイン性を追求したために大きなバッテリーを載せることができず、稼働時間が短くなってしまった。ということが予測できる。
　ここでもう一度MIRZAについて見ると、

MIRZAはめがねのつるの後方にバッテリーをもってきているように見える。MIRZAがこのように後方に大きなバッテリーを載せつつ、1～1.5時間しか稼働時間が持たない。アーキテクチャーとして、端末と無線するタイプで連携する。と、MIRZAと似たアーキテクチャを持っているOrionで、バッテリーサイズが小さいのであれば、現状0.5～1.0時間程度しかOrionは稼働しないのではないか。 と思われる。

感想

　最初、Project AriaのResearch Kitの話を目にしたとき、Orionが触れる！！と喜んでいた。しかし、よくよく調べてみると、絶妙に違うことに気が付き肩を落とした。
　ただアーキテクチャや記述を見る限り、かなり近いものである。もしくはProject Aria側がプロトタイプ的なものであることは感じ取れる調査結果であった。SoCについて、今まで気を配ることはなかったが、そこまで見るとどのあたりで開発がされていた端末なのかを知ることができたり、今回、驚きであったのはマイクの数であった。おそらくこれほど乗せるだけのメリットがあるのであろう。と思って調査したが、他のモダンなXRデバイスでも相当数を載せていることが分かったため、重要な要素の1つであることを認識できてよかった。