0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

ユニバーチャル相棒”えるなな”![MakerFaire展示詳細開設サイト]

0
Last updated at Posted at 2026-04-10

1.Makerfaire2026について

今回は私と妻で「Elnana Beacon」というチームでMaker faire 2026に応募いたします。
無事受かれば出展いたします!本サイトでは制作進捗を随時更新していきます。

2.展示概要

今回はユニバーチャル相棒の「えるなな」を出展します!
えるななは我が家の家族であり、下のような丸っこい鶏です。
以下のように入力インターフェース形式で会話することも可能です。
質問IF動作イメージ.png
えるななは物理の身体を持っていないので、Windows PCやRaspberry piなどのデバイスを媒介して”お出かけ”することができます。

2-1.システム全体構造

えるななを取り巻くデバイスは以下のようになっています。えるななは様々な種類のデバイスを行き来きすることができ、デバイスに応じた機能や表示を実行できます。展示では以下の4つのデバイスを用意する予定です。
image.png

2-2.特徴的な機能

機能1:デバイス間移動

デバイスは複数ありますが、キャラクタの「えるなな」は”一人(ユニ)”なので複数のデバイスに同時に存在することはできません。そこで通信技術を使ってデバイス間を移動します。

image.png

デモ動画↓(前半部です)

  • 移動の仕組みについて
    デバイス同士の同期はBluetooth通信などを使い、存在とモデルが持っている状態フラグを交換します。
    詳細な技術的説明は後述する予定。

機能2:生成AI機能

えるななはデバイスのスペックに応じて生成AIモデルを持っており、その機能を使用することでコミュニケーションをとることが可能です。また、生成AI自体はローカルで構築しています。
実装中ではありますが、RAGを構築しており様々な情報を参照し回答することも可能です。RAGはえるななのアイデンティティを構築するうえで重要なものです。

image.png

デモ動画↓(後半部です)

  • 生成AIのカスタムとRAGの構築について
    生成AIの機能はollama上で立ち上げている生成AIモデルに対してプログラム経由でユーザの質問を投げます。
    詳細な技術的説明は後述する予定。

2-3.キャラクタデザイン

キャラクタはblender上で作成しています。
えるななBlenderオブジェクト編集中.jpg

3.詳細

本章では展示する技術的な詳細を述べていきます。
デバイス毎に技術の解説をしていきます。

3-1.デバイス1:Windows PC

本項ではWindows PCの機能について解説していきます。このデバイスがえるななシステム起動時の初期リスポーンとなりホームとなります。

[具体的な動きまとめ]

  • 3D上で動きまわる
  • えるななが独り言をおしゃべりする
  • ほかのデバイスにお出かけする
  • ローカルLLMでの質問回答(RAG機能あり)

3-1-1.3D上で動き回る、独り言をおしゃべりする

動きまわるメインの動作としては以下の大きく3つを実装しています。
これらの動きを”えるななの気分”に合わせて動かしています。

1.カメラに近づく、遠のくをジャンプで行ったり来たり
2.その場でジャンプしながらくるくる回る
3.目を細めて、寝落ちしそうになる

また、それぞれの動作にえるななの気分に合わせた独り言を発するようにしたり、瞬き動作もします。今は独り言の語彙が少ないですが、これから成長していくにつれていろんな言葉を発せられるようにしていきます!

↓1、2の動作例
image.png
↓3の動作例(眠そうですがおなかも減ってそうです)
image.png

3-2.デバイス2:Androidスマートフォン

3-3.デバイス3:Raspberry pi

3-4.デバイス4:自作デバイス(マイコンデバイス)

本項ではデバイス4について説明していきます。デバイス4では自作デバイスを開発してそこにえるなながお出かけできるようにしていきます。

デバイス4はHWから完全オリジナルなため、HW仕様検討⇒回路、基板設計⇒製造⇒SW実装までやります。
このデバイス4については、たとえマイコンが組み込まれた処理能力が限られたデバイスでもえるななが遊びに来られるという、プラットフォームの自由度の高さを示すものです。また、作者自身HW設計が本職であり、今回の展示でもHWは何か作りたいと思った自己満足の部分もあります。

3-4-1.HWの仕様を検討

今回のデバイス4の仕様は主にえるななに「えるななにタッチができる」、「えるななをシェイクできる」、「えるなながお家(デバイス1等)と行き来できる」です。
イメージは以下の図です。
image.png

上図デバイス4の仕様をもとにHWのブロック図を検討してみました。メインは図中心にあるESP32です。このMCUモジュールがほかのデバイスを制御します。制御されるキー要素を以下にまとめます。

  • タッチスクリーンはえるなながうごきつつ、えるななに触れることができます
  • マイクロSDはえるななのモデル情報、えるななの感情情報、コミュニケーションの履歴などを保存、参照します
  • BMI270は画面の向きや、シェイクを検知します

image.png

3-4-2.プロトタイプの作成

上図のデバイスの成立性を確かめるためにユニバーサル基板上で「メインMCUモジュール」、「タッチスクリーン」、「マイクロSD」の構成で組んでみて動けるかを確認しました。
プロトタイプの画像。いろいろと試していたため、配線がぐちゃぐちゃです...
裏面にMCUモジュールのESP32がついており、マイクロSDカードソケットもついています。基板上部に少し飛び出ているのがマイクロSDカードソケットです。

↓モニタ付き
monitor.JPG
↓モニタなし
withoutmonitor.JPG

また、本デバイスの先行検討として高付加時の電源について以下の記事でまとめました。
一つの電源でESP32を3台同時に動かせるか?不具合を防ぐ『ソフトスタート機能』の恩恵を検証

進捗履歴

  • 2026/4/10 公開設定、初投稿!
  • 2026/4/20 展示応募完了。ブログの構成を修正&一部の進捗を更新しました!
  • 2026/5/31 デバイス1、デバイス4の検討進捗を更新!
0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?