本記事は、toio™️コアキューブをさわらずに手で動かす(MFTokyo2020出展記 実装編)の続きです。
とりあえず実装は終わったが
実装は終わりましたが単に動くようになっただけなので、本番展示のときどう配置するか、持っていく機材リスト、当日の運用手順などをいろいろやることはたくさんありました。
準備
展示機材
Maker Faire Tokyo(東京ビッグサイト会場)ではテーブルと椅子とAC100Vコンセントは用意されていますがそれ以外は自前で用意する必要があります。今回、ホワイトボードに開発者マットを貼り付けたものを垂直にたて、toio™️ core cubeを磁石で貼り付けて使いますので、ホワイトボードをたてかけるイーゼルが必要となります。例によってamazonで発注。
THE DISPLAY B2軽量パネルに最適メタルイーゼル TDYS-001B ブラック
カメラの配置の検討
自宅でのテストではカメラをホワイトボードの上につけて手の動きを捉えるようにしていました。一人の人間の手の動きを捉える場合それで問題はないのですが、展示会の場合、通路を多数の人が通りますので、toio™️ core cubeを手で操作している人の後ろを通りがかった人の手を認識してしまう可能性があります。なるべくそれを避けるため、操作している人以外の手が写らないようなカメラ配置を考える必要がありました。
大まかにわけて正面から横向きに写す方法と、上から机側にむかって写す方法が考えられます。
上から机に向かって写せば(画像の上下を逆にしておく必要はありますが)ほぼ操作者の手しか写りません。ただ、アーム状のカメラホルダを作らないといけないのと、手を奥や手前に動かすとtoio™️ core cubeが上下に動く、というのは操作感覚としてはズレています。
正面から横向きの場合、手の動きとtoio™️ core cubeの動きの方向が一致するので操作のダイレクト感を得られます。あとはカメラのホワイトボードの下側におくか、上側におくかのどちらかですが、上側におく場合、射角が下向きになるため操作者の後ろの人の手が写りやすくなります。(後ろの人の下げた手が写りやすい)
下側から上むきの射角をとれば、操作者の後ろ側は操作者より高い位置を写すことになるので、後ろの人がバンザイでもしていない限りは大丈夫そうです。ただしこの場合、天井の照明がカメラに入るのでそれが認識に影響を与えるかどうかが不明です。
まあこの３パターンを想定し、あとは現地で調整するしかないのでカメラの取り付けをいろいろ試せるように治具や部材を持っていくことにしました。
飾り付け
ホワイトボードの上を走り回るtoio™️ core cubeですが、そのまま使うのも味気ないのと、白地のプレイマット上の白いtoio™️ core cubeでは目立たないのでちょっと飾り付けをしました。ホワイトボード上をフォーメーションを組んでふらふらと動き回るのはUFO?、あるいは時期的に ハロウィンの幽霊？、はたまたフォーメーションを組んで動くので青い戦闘機？(ブルーインパルスはT-4なので戦闘機じゃないですけども)とかいろいろ考えつつ...というか今時の小中学生はUFO知らなかったり？とか思ったり。まあ結局はUFOにしました。
まいどお世話になっている、いらすとや、からイラストをプリントして切って貼ります。
ヨレヨレなのは展示で酷使した後、後日撮った写真のため
ポスターの用意
Maker Faire Tokyo運営サイドから送られてきた出展者ガイドには、「なるべく会話もへらして、見てわかるよう展示を」とありましたのと、確かに説明でしゃべり続けるのは大変なので、ポスターを作って展示することにしました。また、出展ガイドには説明ポスターの作り方っぽいものがあり、その中で「一番伝えたいことはなに？」というのをはっきりさせるのがポイントとのこと。
なるほど、とにかく磁石さえ手に入ればtoio™️ core cubeを垂直に走らせることは簡単だよ、みんなやってみて、という点が今回一番伝えたいことなのでまずはその説明ポスターを一枚。あとは、しくみを知りたい人用の簡単な説明ポスターを作りました。何を使っているかのキーワードを並べた程度でわかる人はわかるし、細かい説明は聞いてもえばいいかなと。あと、操作方法ポスター。小さい子供たちも来ますので操作方法は5才ぐらいでもわかるような感じにしてみました。
ポスターのプリントはPDFファイルにしてコンビニのカラーコピー機でプリント。複数のコンビニを試しましたがセブンイレブンのカラーコピー機が一番使い勝手良かった気がします。
磁石を貼り付けるだけで垂直に走る点を説明
 |
|---|
デモの操作方法
 |
|---|
しくみ
 |
|---|
休憩時のポスター
 |
|---|
この休憩時用ポスターですが、食事やほかの展示を見学するために不在にするときには、自動デモに切り替えておこうと思って用意しました。自動デモとして動かすのはtoio™️ core cube 2台の間に糸を張って、LEGOのホイールで作ったコマをひっかけてディアボロのように動かす、というものです。これなら無人でもずっと動き続けるので不在でもとりあえずは大丈夫かなと。
当日
さあ当日。一緒に展示を行う加藤さん、豊田さんと待ち合わせて入場＆セットアップ。田中さんは今回YouTube Liveでのセミナー出演のお仕事のため、作品だけの展示となりました。
持って行ったものリスト
- Jetson Xavier NX関連
- Xavier NX Dev.Kit本体、ACアダプタ
- 広角カメラモジュール、標準カメラモジュール(RasPi Camera2)
- USBカメラ(広角版)、USBカメラ(標準版)
- USB延長ケーブル (カメラの設置で延長が必要かもしれないため)
- USBキーボード(ThinkPadトラックポイントキーボード)
- 小型HDMIモニタ関連
- 小型HDMIモニタ(8.9inch)
- HDMIケーブル(Xavier NXのHDMI出力と接続)
- USB microBケーブルとACアダプタ(モニタ用電源)
- テーブルタップ 口数多めのもの一本
- AC分岐アダプタ 口数多めのもの
- カメラ設置治具関連
- 100均で買ったスマホ用三脚ホルダ
- ミニ雲台
- ミニ三脚
- ホワイトボード関連
- 開発用プレイマット2枚一組 ２セット(汚損時に交換するため)
- 開発用プレイマット固定用磁石
- キャン★ドゥの磁石 たくさん
- イーゼル
- toio™️ core cube関連
- toio™️ core cube 6台
- toio™️ core cube トッププレート 6枚
- toio™️ core cube 専用充電台
- USB microBケーブルとACアダプタ(充電台用)
- toio™️ console (充電台として使う)
- toio™️ core cube 6台
- ポスター、他
- ポスター A3プリント 数枚
- ポスター展示スタンド ｘ２
- A3段ボール数枚
- はさみ
- 養生テープ、セロハンテープ、両面テープ
- 紐 2m程度
- ジップロック袋 数枚
- ディアボロの展示で使うレゴ、糸
- 3倍回転用治具（展示用)
- toio™️でブンドド治具(展示用)
- 不織布マスク 数枚
- フェイスシールド 数枚
- タオル、ハンカチ
- ゴミ袋
- カロリーメイト２食ぶん、飲み物は自販機調達
- トラブルで不動になった事態にそなえたビデオ(幸い、出番はありませんでした)
- USBメモリにビデオファイルをいれたもの
- RasPi3Bと、RasPi3Bで再生できるようにmicroSDにビデオを入れておいたもの
荷物。A2サイズのホワイトボードを入れるのにTokyo Game Show 2019でもらった巨大なSEGA袋が役に立った。
搬入、セットアップ
来たぜビッグサイト
2m離れましょう
機材の配置
結局、広角カメラモジュール(MIPI CSI)で、下から斜め上にむかって写すようにしました。天井のライトが映像にだいぶ入りましたが特に認識への悪影響はありませんでした。
本番
toio™️で作ってみた友の会の展示はこんな感じになりました。
(YouTube)
加藤さんの展示(toio™️で作ってみた友の会のみなさまの作品紹介とUnityの作品)
豊田さんの展示
青いベルの音と緑のベルの音を機械学習で判別。地味に難しいことやってる#MFTokyo2020 #toio pic.twitter.com/fpqogGMZ5w
— ロボ先輩@3rd Factory (@3rd_factory_ro) October 4, 2020
田中さんの展示
#toio でオートサッカー⚽️
— Akichika Tanaka (@akichika) October 4, 2020
AIカメラ #UnitV と #M5StickC そしてスイッチサイエンスさんより発売された「toio™️開発用プレイマット」を使って自動でサッカーするデモを作りました。今日 #MFTokyo2020 でtoio友の会のブースで展示していただいてます！https://t.co/WUBoXI1D10 #toiotomo #M5Stack pic.twitter.com/D3Jr1OrZBL
自分の展示
Jetsonとtoioとtensor flowでここまで出来る(驚愕)
— オオカワマサシ (@masashiokawa) October 4, 2020
#MFTokyo2020 pic.twitter.com/vDiYMegRUt
運用とトラブル
手認識で動かすデモは4台のtoio™️ core cubeでうごかし、1時間程度たったら別の2台のtoio™️ core cubeでディアボロのデモに切り替え、その間に4台を充電、という運用で考えていました。
1日目、休憩&他の展示見学のため、手認識によるtoio™️ core cube操作のデモをディアボロの自動デモに切り替えました。が！、休憩から戻ってみるとデモが止まっている。
どうやらBLE通信のリンクが切れているようで、おそらくですが、ディアボロのデモは数秒に１回づつの位置移動指示が飛ぶ程度でBLE通信を頻繁にはやっていません。このため、MFTの会場のようにWiFi/Bluetoothの2.4GHz帯通信が混みまくっている環境では、BLEのリンクが切れてしまうのだと思います。手認識で動かすデモはひっきりなしにBLE通信を行うためか、切れることは稀でした。(ゼロではない)
止まりがちだったディアボロのデモですが、運良く稼働中のものを見ることができた方もいらっしゃったようでした。
toioが垂直に動いてるー😊 #MFTokyo2020 pic.twitter.com/w28GtIFDd8
— Yamada3 (@keropiyo_) October 4, 2020
2日目は、ディアボロの自動デモをあきらめて、6台のtoio™️ core cubeのうち4台を使いつつ、1時間ごとに2台づつ入れ替えて充電、のローテーションでいくことににしました。基本的にダウンタイムなし(トイレ、食事休憩はとる)運用。
大変といえば大変でしたが、たくさんの方に垂直に走るtoio™️ core cubeを体験していただくことがができました。
toioの群をウォールで手でコントロールできるの、めっちゃツボった。素晴らしい!!#MFT2020 pic.twitter.com/JWETj6oLlM
— Hirotaka Niisato (@hirotakaster) October 3, 2020
変な質問、トラブル集
- そのキーボードってなんですか
- LenovoのTrackPoint Keyboard。Jetsonにつないで操作用に使っていただけですが。トラックポイント(赤ぽっち)つきだったのが珍しかったようで... これだとマウスを持っていかないで済むので使っただけです。
- LED帽子(こんなやつが気になる
- 目を引かせるための単なる電飾看板用途に置いておいただけ(「#toiotomo」と表示し続けるようにしていた)
- (手認識の学習用の)アノテーションが大変だったでしょ？
- いえ、MediaPipeの学習モデルそのまんま使ってるので巨人の肩に乗ってるだけっす。
- どうやって動いているんですか？
- キューブの裏側に車輪があるんですよー(と言って車輪を見せる)
- (認識に使っているカメラの画素数を聞かれて200万画素程度と答えたら) カメラ画素数が多いのでは？
- まあ、この手の認識器への入力としては画素数は多いけど、MediaPipeの内部処理(graph)の中では画素数を減らして処理している。
- ホワイトボードの裏を覗き込んでなんか機構がないか見る人
- なんの仕掛けもないっすよー。磁石で貼り付いているだけ。
- 手の認識が働かない
- 女性の手が認識されないことがありました。手が白かったり細かったりするとダメなのかもしれません。
- 子供は手が小さいので認識されづらいのですが、カメラに近づくように声掛けして対応しました。
- 操作していない手が映る
- ハンドバッグをひじにかけていると手が上のほうにあるため、操作していないほうの手が映りがちで誤認識していました。
- 同様にスマホでデモを撮影しようとするとスマホを持っている手が映ってしまって誤作動とか。こちらでデモ操作してあげて、撮影してもらうようにしました。
- 手がとどかない
- 3才ぐらいだとカメラに手がときません。椅子にのってもらいました。
- 動かしているうちにtoio™️ core cubeがぶつかってこんがらかって動かなくなる
- こちらが手でほぐすか、お客さんに手を左右にふってもらってほぐれるように操作してもらいました。
- マスクに加えてフェイスシールドをつけての展示説明
- 気温が高かったせいもありますが、フェイスシールドはとても暑い。これをつけてお仕事されている方の苦労がわかりました。
- 小学生には大流行
- 今考えれば、鬼滅ネタを仕込んでおけばよかったかも。「toio™️の呼吸、壱の型」とか
- ゴミの収集があった
- Tsukuba Mini Makers Faireではゴミ回収なしでちょっと困ったので、今回はなるべくゴミを出さないように準備したのですが、さすがビッグサイト、終わってからのゴミ収集サービスがありました。とはいえ捨てたのは使い終わったフェイスシールド程度でしたが。
最後に
申込＆各種とりまとめの加藤さん、またtoio™️で作ってみた友の会のみなさまに感謝します。
疲れたけど楽しかった。またやりたい。
