はじめに
こんにちは。Device Frontierチームの道下です。
普段は業務でXRアプリケーションの開発とマネージャーをやっています。
私は毎年その一年で行った中で一番興味があるものを記事にしています。
今年はAIの分野では、生成 AI がさらに進化し、ツールとして使う存在から、自律的に動くエージェントへ進化してきました。
また、XRデバイスにおいても初のAndroid XR デバイスの登場や Ray-Ban Meta Display の発売など、AIの進化に合わせて人とのインタフェースとなるデバイスも登場しました。
こうした流れの中で、今回は Ray-Ban Meta と今月公開されたばかりのMeta Wearables Device Access Toolkit for Android（DAT)を使い、より日常利用を意識したアプリを作り、今後のAI と XR の関わりについて考えてみました。
今回作ったもの
今回作ったのは、Ray-Ban Metaからの映像をAI（Gemini）に送って、目の前の食事のカロリーとPFCを教えてくれるものです。
音声で料理名と合計カロリー、詳細はスマホ側で表示しています。
これまでスマートフォンをかざしたり写真から解析する必要がありましたが、メガネ型デバイスにすることで、その手間をなくし、自然に情報を得ることが出来ます。
2年前にMeta Quest 3 を使って、AIと会話したり、見ているものの説明を返すアプリを作りました。
その際は、Quest 3 のパススルー映像取得に制約があり、スマートフォンを介した構成を取っていました。
今回のアプリも内容は似ていますが、Ray-Ban Metaにしたことでより体験ハードルが下がりました。
Ray-Ban Metaとは
デバイスについて少しだけ説明します。
Ray-Ban Meta は、MetaとRay-Banが共同で開発したスマートグラスです。
普通のメガネに近い見た目ですが、カメラやマイク、スピーカーを内蔵しており、装着したまま撮影や音声操作ができます。
日本ではまだ正式に販売されていないため、私はプライベートでイギリスに旅行した際に購入しました。（日本での技適は申請済みです）
これまでは一人称視点での撮影や音楽を聴くといった用途が中心でした。
しかし今月DATが公開され、Ray-Ban Metaのカメラ映像をスマートフォンアプリで取得できるようになりました。
サンプルを動かしてみた記事も書いていますので興味あれば↓
実装について
アプリの実装はすべて Claude Codeで行いました。
私自身Kotlinは触ったことないので、公式サンプルをベースとして機能追加をするという形で指示をしました。
Claude Codeが実装からapkを作るまでやってくれるので、私はスマホをつなげてadb installを打つだけです。
アプリフローも非常にシンプルで、
- Ray-Ban Meta のカメラ入力を取得
- 映像から画像を切り取り、AIにとカロリー・PFCを返すようにリクエスト
- レスポンスから音声とテキストでユーザーにフィードバック
となっています。
XRとAIの関わりを考えてみる
今後、グラス型デバイスやその他デバイスがスマートフォンのようにどんな人でも使うようになる状態は、（価格や日本での展開次第な部分もありますが）近い将来必ず来ると思っています。
その時に備えて日常で使えるアプリを今試しておくことには意味があると考えています。
今回は料理の情報を表示するアプリでしたが、例えばナビゲーションのように目的地まで案内するものや、行動を補助するような用途など、様々考えられるはずです。
個人的には、将来、一人につき一つの パーソナライズされたAIアシスタントが存在する世界になればより便利になるだろうと思っており、またXR デバイスは、音声、空間情報、一人称視点の映像、手や視線といった多様な入力を扱えるため、非常に相性が良いと考えています。
今後の開発について
現在はユーザー操作をトリガーにしてAIにリクエストを送る形になっていますが、
今後は AI 側からフィードバックを返すプッシュ型の機能を追加開発しています。
具体的には、Ray-Ban Meta から取得した映像の中に料理が映ったことを検知したタイミングで自動的にリクエストを送り、結果を返します。
このように自然に情報が返ってくる体験がAIスマートグラスらしい使い方だと考えています。
おわりに
今回は、Ray-Ban Meta とDATでアプリを作り、AIとXRの関わり方を考えてみました。
今後もAIとXRの進化を追っていきたいと思います。
最後まで読んでいただきありがとうございました。
ネクストスケープでは共に働く仲間を絶賛募集中です。
ご興味ある方は下記のURLからお気軽に。
※本記事の一部は、内容整理および文章表現の補助として生成AIを活用しています