Monocleとは
2022年9月にBrilliant Labsが開発した眼鏡に取り付けるARデバイスです。名前の通り片眼鏡として眼鏡の片側にクリップで取り付けることができ、ディスプレイや専用のOSを搭載しています。値段は本体\$349で、送料込みで大体\$400程度でした。今回衝動買いしてせっかくなので開封からセットアップまでを記載したいと思います。
外観
外箱と中身のデバイスはこんな感じです(ペンはサイズ比較用)。パッケージがシンプル(ほんとに何も書いてない)でデバイスも想像よりも小さかったです。
箱の中にも説明書などはなく、後述するarGPTへのアクセスQRコードが記載されているのみです。最近のゲームなんかもこんな感じが多いですよね。
中身としては本体のレンズと充電ケース、充電用のTypeCケーブルの3点となっています。
実際に私の眼鏡に取り付けるとこんな感じ。レンズの幅は大体1cmぐらいです。丸眼鏡なので形状的には親和性はありますがまあまあごつくなりました。
非常に見辛いですが、レンズの画面表示はこんな感じです。仕組みとしては上部に小さなディスプレイがついており、それを斜めの透明な部分に反射させているようなイメージでした。
プリセットアプリ
このMonocle、基本は開発用デバイスのためMicroPythonというPythonベースの組み込みプログラミング言語でいろいろ作って遊ぶものですが、「arGPT」アプリと連携することでそのままでも使えるようになっています。
先ほどのQRコードを読み込むとMonocleと連携するスマホアプリ「arGPT」のダウンロードリンクに飛ばされます。「arGPT」はMonocle上でChatGPTを動かすアプリになっており、BluetoothでMonocleと接続し後述する3つのタスクができます。「arGPT」のスマホ画面はこのようにChatGPTベースのアプリとなっています。
1. 音声認識でChatGPTに指示を出し回答をレンズ上に表示
レンズの上部をタッチすると音声認識モードとなり、その状態で声でChatGPTに指示を出すことができます。スマホアプリの「arGPT」上には自身の入力含めてChatGPT画面が表示され、レンズ上にはGPTの返答が表示されます。これで困ったことがあったらいつでもGPTに質問できますね。
2. 音声認識でChatGPTで翻訳した結果を表示
一つ目と同様に音声認識モードで、聞き取った音声を翻訳してレンズ上にテキストで表示してくれます。海外に行く時に役立つ機能です。惜しむらくは翻訳先が英語になるところですが、日本語版は自分たちで作りましょう。
3. カメラがキャプチャーしStable Diffusionで画像加工
レンズの上部を長押しすることで、カメラモードとなりレンズの表側のカメラで写真を撮ってくれます。撮影した画像はスマホのarGPT上で見ることができます。またその後に声で指示を出すことでStable DiffusionのAPIを利用して画像加工をしてくれます。
注意事項
arGPTを利用するにはOpen AIのAPIキーが必要になります。クレジットと連携してあらかじめチャージをする必要があるのでご注意ください。また3つ目の画像加工にはそれとは別にstability.aiのAPIキーも必要となります。
またarGPTは基本的に英語対応のみで、日本語入力は対応していませんでした。
あとは充電は1時間しか持たないようなのでお気を付けください。ARデバイスはやはりバッテリーの問題が残りますね。。。
他にできること
プリセットアプリの紹介の際にも言いましたがこちらMicroPythonというPythonベースの組み込み言語を用いて、機能開発をすることができます。カメラ、マイク、ディスプレイがついているデバイスなので色んなことができそうで夢が広がります。
私は特に人の顔を覚えるのが苦手なのでカメラ映像から名前を自動表示してくれるような機能を作りたいなぁと思っています。宝の持ち腐れにならずMicroPythonもいろいろ触ったらまた記事にしようと思います。
所感
とりあえず触り始めということでMonocle起動とプリセットでついているarGPTを触ってみました。ChatGPT付きの片眼鏡というだけでもなかなか便利な代物だと思います。
あと一般的なARデバイスは眼鏡型が多いですが、こちらはクリップで普段の眼鏡につけれるのは眼鏡ユーザには嬉しいですね。重量も軽いので重さもほぼ感じず眼鏡がフィットしていればずり落ちることもなさそうです。
いいところばかりでなく欠点も上げるとタッチの感度やBluetoothの安定性はまだ微妙でした。充電も1時間しか持たないため、通常利用はまだ遠そうです(そもそもこんなのつけて歩いてたら怪しいか)。
ただやはりハンズフリーのARデバイスは今後スマホの代わりに台頭してくる(きてほしい)と信じてるので、今後のアップデートにも期待です。
\$400のもとを取るためにもMicroPythonでいろいろ遊ばないと。。。