はじめに
「つくる」を通じて、誰もがヒーローになれる開発コンテスト「ヒーローズ・リーグ 2024」において、私の作品「クロとシロ」がオンラインヒーロー賞をいただきました。ありがとうございます。
この記事では、開発秘話と題して「クロとシロ」のインタラクション技術について紹介します。
作品概要
「クロとシロ」は「アニマトロニクスでかわいい動物をつくる」個人プロジェクトのひとつです。かわいらしい見た目だけでなく、インタラクティブな動作と高度な機能を兼ね備えています。「クロとシロ」の2体はそれぞれ異なる性格を持ち、見る人に親近感を与えながら楽しい体験を提供します。
以降は「クロとシロ」のことをシンプルに「ネコ」と表現します。
主な機能の紹介
ネコは喋ります。
触れると反応します。
物を見せても反応します。
実現している技術について
ネコのモーションはUnityでシミュレータを自作して生成しています。実機を使わず試せるので便利です。シミュレータでアニメーションを作れば、自動で各軸の値(CSV形式)が出力されます。その値を実機に送ることで連携動作が可能です。
その他のインタラクション技術のほとんどは、AIカメラの機能を賄っているAKARIによって実現しています。例えば、物を認識したり対話したりする部分です。ネコの台座部分にあたります。
AKARIとは
AKARIは「誰もがロボット作りを身近に！」を目指して開発した、オープンソースの小型卓上ロボットです。
特徴と魅力
AKARIはAIカメラを搭載しており、単体でも画像認識が行えるほか、Webブラウザ上からの開発にも対応しています。初心者が基礎を学ぶだけでなく、上級者が高度なプロジェクトを実現することも可能です。
活用方法
AKARIは組み立てを通じてハードウェアの仕組みを学べるだけでなく、プログラミングの基礎教育にも最適です。例えば、ビジュアルプログラミング言語である「Scratch」にも対応しています。
さらに、日常生活に役立つプロジェクトや、研究開発用途としても活用できます。AIカメラの物体認識技術を応用したり、遠隔操作可能な監視ロボットの構築が可能です。
技術仕様
AKARIのAIカメラはOAK-D Liteを採用しています。推論を行うことができる演算機能が搭載されており、顔認識・物体認識はもちろん、セグメンテーションや骨格推定など様々な画像認識を使うことも可能です。
また、他のシステムはMakerに人気のM5Stackやそのセンサー群、DYNAMIXELサーボで構成されており、親しみやすいと思います。
AKARIをネコにする方法
AKARIで直接ネコを動かすこともできたでしょうが、作品をうまくパッケージングするため、ネコの開発では一部システムを変更して利用しました。主な変更点を紹介します。
通信プロトコルの変更
ハードウェアの大きな変更点は、AKARIヘッド部のDYNAMIXELサーボを、ネコ独自のモータ制御基板とサーボ群に置き換えてるところです。ネコはAKARIよりも軸数が増えるためです。通信プロトコルをDYNAMIXELからModbusに変更しています。
ネコのモータ制御基板は、モーションを受信することで動きを再生するようにしています。よって、ネコは以下のようなメッセージ構造にしています。例えば「ウィンク」のモーションをネコに送信するにはアドレス1に0、アドレス2に50を入れて送信します。
| アドレス | 内容 | 値 |
|---|---|---|
| 1 | 左目の開閉 | 0~50 |
| 2 | 右目の開閉 | 0~50 |
| 3 | 左目の横移動 | 0~50 |
| 4 | 右目の横移動 | 0~50 |
| 5 | 左耳の回転 | 0~100 |
| 6 | 右耳の回転 | 0~100 |
| 7 | 口の開き | 0~15 |
| 8 | 頭の回転 | 0~800 |
| 9 | 頭の前傾 | 0~250 |
| 10 | 頭の左傾 | 0~250 |
| 11 | 頭の右傾 | 0~250 |
| 12 | 尻尾の左方向 | 0~200 |
| 13 | 尻尾の右方向 | 0~200 |
こだわりポイント
ネコの瞬き動作だけは通信を介さず、モータ制御基板内のランダムな周期で自動実行されます。これは通信負荷を下げる目的に加え、上位ソフトを動かしていないときでも生物感ある動きを実行し続けるためです。
音声合成の変更
AKARIにはakari_chatgpt_botという音声認識、文章生成、音声合成を使って対話するチャットボットアプリが提供されています。この機能を用いてネコの対話も実現しています。しかしながら、ネコは渋い声にしたかったので、このリポジトリ内のVOICEVOXキャラクターを変更して使用しています。
使用したのはVOICEVOX 青山龍星です。
こだわりポイント
ネコのクロは重厚で低音な声である「青山龍星」、シロは柔らかく温かい声である「冥鳴ひまり」にして、それぞれの個性を引き立てました。
物体検出の変更
AKARIにはYOLOの推論を行うアプリも提供されています。これを使うことで簡単に物体検出ができます。
ネコはオリジナルのデータセットで物体認識を行いたかったため、以下を参考にアノテーションと学習を実施しました。
これにより、例えば「ウィンクして」と書いてある魚を検出できるようになりました。この検出結果をトリガーにしてモーションが実行されます。
こだわりポイント
分かりやすい形状かつ、背景と一致しない色合いにしました。ネズミで試したら、灰色なので背景に溶け込みやすく検出しにくかったです。
気に入った技術を使ってみよう
AKARIは、流行りの認識技術や対話機能を誰でも簡単に試せるのが魅力的です。今までは構成部品がやや高価なところもありましたが、RaspberryPi5を使用した廉価版も公開されたため、開発の敷居も下がったのではないでしょうか。ライセンスも気軽に利用しやすいCC BY 4.0やApache2.0です。
ネコのような作品をいちから作り始めるのは大変ですが、AKARIのような技術から学ぶことでインタラクティブな作品を作りやすくなります。近年進化が目覚ましい、AIや音声対話などの技術を自身のハードウェアに取り込むことで、少しずつ自分の作品に命が宿ったようにも見えてくることでしょう。
