こんにちは!ひさふるです。
みなさん、ロボティクスについて触れたことはありますか?
生成AIが社会で一般的になりずいぶん経ちますが、ロボティクス分野は正直まだまだ...といった印象ですよね。
しかし、AIの判断能力をロボティクスに応用したフィジカルAIという概念が提唱されているように、AIの次の活躍の舞台として現実の物理世界が想定されはじめています。
今日は、Pyunto Roboticsというライブラリを使って、そんな世界の一端を体験してみようと思います。
Pyuntoとは
普段私が関わっているウタゴエ株式会社では、AIやロボティクスに関連した様々なアプリケーションやサービスを開発しています。
Pyuntoは、ウタゴエで開発している日記型メッセージングアプリです。
メッセージングアプリの他にも、AIによるデータ分析サービスであるPyunto Intelligence、プロジェクト管理ツールのPyunto Time Managementなど、AIの存在を前提としたサービスを展開しています。
Pyunto Roboticsとは
今回はそんなPyuntoファミリーの中でもロボティクスに特化したPyunto Roboticsというライブラリを使ってみます。
これは、日記型メッセージングアプリのPyuntoからロボットを操作するためのライブラリです。
シミュレーター上で動作するデモも入っています。
そもそもなんで"日記"アプリなのか
昨今では、AIによってソフトウェアの開発にかかるコストが劇的に安くなり、今後もどんどんゼロに近づいていくでしょう。
そんな状況下では、価値は開発ではなくその周辺に移行するようになり、人間の持つ意思・意図が最も重要になるとウタゴエでは考えています。
Pyuntoはメッセージングアプリでありつつ日記としての側面を備えており、これは日記が一番人間の意図を抽出できると考えているからです。
そこにロボティクスを繋げることで、人間による意識的・無意識的な意図が自然な形で現実世界に影響を及ぼすようになると考えており、AIとロボティクスを活用した次世代の世界を見据えています。
実際にPyunto Roboticsを使ってみる
では実際にPyunto Roboticsを使ってみます。今回は、付属のデモで遊んでみることにします。
セットアップ
セットアップ方法はREADME.mdに詳しく書いてあるのでそれをご参照ください。Apple silicon の Mac と Python 3.11 または 3.12 があれば動作し、pipでインストールできます。Python 3.13 以降だと、ロボットが文章を読むための言語モデルの部分がインストールされないので注意してください。
まだPyPIには公開されていないので、GitHubから直接インストールします。
pip install 'pyunto-robotics[llm] @ git+https://github.com/utagoeinc/pyunto-robotics'
python -m pyunto_robotics.download_model # so the robot reads what you write (~5.5 GB, once)
pyunto-robotics showqr # a QR code appears in the terminal
showqrを実行すると、ロボットをPyuntoの会話スペースに招待するためのQRコードを表示することができます。QRコードが読み取られると、showqrはどのロボットを動かすかを聞いてきて、そのままシミュレータを起動してくれます。
今回は、まずソーラーカーロボットのデモを使ってみたいと思います。--robot solarを付けると、ロボットを選ぶ質問が省略されます。
pyunto-robotics showqr --robot solar
このコマンドで表示したQRコードをPyuntoアプリで読み取り、ロボットを入れるスペースを選ぶと招待が完了します。
| QRコード撮影後 | ロボットの招待完了 |
|---|---|
![]() |
![]() |
シミュレータの起動
本来は読み取りが済むとそのままシミュレータが起動するのですが、私の場合は読み取りまでに時間がかかってしまい、showqrが10分で待つのをやめて終了していました(招待自体は成功しています)。
そんなときや、一度招待したロボットをあとで動かしたいときは、demoコマンドでシミュレータを起動できます。QRコードの読み取りはもう必要ありません。
pyunto-robotics demo --robot solar
ソーラーカーロボットが動く環境が起動しました。シミュレータはMuJoCoで動いているようですね。
また、ソーラーカーロボット側の判断はMacローカルで動作しているGemma 4が行っているようです。
Pyuntoから操作してみる
さて、それでは実際にロボットに指示を送ってみます。
ここで注意点がひとつあります。ロボットは@名前でメンションされた書き込みにしか反応しません。ロボットと自分だけの1対1のスペースでも、メンションを付けないと無視されてしまいます。
今回はS1という名前でロボットが招待されているので、@S1 日光が当たる場所に移動して、エネルギーをチャージしてと指示を送ってみます。
今では当たり前ですが、自然言語で指示を出せるというのは非常にラクですね。
少し待つとI will: find_sun → goto eastという返信が返ってきました。
これでシミュレータを見てみると...
ゆっくりですが動きはじめました!!
最終的に、ロボットは日光が当たる位置まで移動し、チャージを始めました。
Pyuntoに投稿した指示には、スレッド形式で動作の様子が画像付きで投稿されていくようです。
他の例を試してみる:ペットカメラロボット
さて、せっかくなので他の例も試してみましょう。今回はペットカメラロボットを起動してみます。
pyunto-robotics demo --robot pet
無事起動できました。
ペットカメラロボットを起動すると、ロボットの名前がP1に変わります。今回は、@P1 猫はどこにいる?と聞いてみようと思います。
今回も正常に動き始めました。
しばらく待った後、スマホ側にはソファーの下にいるよという旨のメッセージが送られてきましたが、肝心のソファーの写真がありませんでした。
なので再度ソファーの下を映してと言うと...
いました!
今度はソファーの写真が送られてきましたね。
ローカルLLMで動作しているので性能はちょっとご愛嬌なところがありますが、スマホからロボットを操作して部屋の中の様子を観るという一連の流れは体験できました。
おわりに
今回は、ウタゴエで開発中のPyunto Roboticsというライブラリをご紹介しました。
AI x ロボティクスは様々な場所で提唱されているものの、普段ソフトウェアエンジニアをやっているとなかなか体験する機会が無いので、実際に動くものを観ると感動しますね。
ロボティクス分野は今までは敷居が高いように感じていましたが、今後はAIによりどんどん身近な存在になっていくと思われます。
みなさんぜひ、Pyunto Roboticsでその一端を感じてみてはいかがでしょうか?







