1. はじめに
- AWS re:Invent 2023 に参加した。特に楽しかった/勉強になった内容についてまとめておく。
- 本記事では、お絵描きロボットを動かすワークショップについて紹介する。「現地ではこんな楽しいのができるんだよ」ということで、来年以降行く人の参考になれば...
2. ワークショップの概要
- ワークショップ名：「IOT205 | Using generative AI & AWS IoT to build a 2D robot that draws pictures」
- できること：
- Amazon Bedrock 上の Stable Deffusion で、好きな画像を生成する。
- 生成した画像を描画用のものに変換し、AWS IoTを経由して手元のお絵描きロボットに送信する。お絵描きロボットがアームを動かし、ボールペンで実際に物理的に絵を描いてくれる。（以下動画の感じ）
3. ワークショップの進め方
3.1 アーキテクチャの説明
- 最初にアーキテクチャの説明がある。概要としては以下の通り（ちゃんとは理解できていないが...）。
- AWS Amplifyで、フロントエンドWEBを作成する。
- Amazon Bedrock(Stable Diffusion)で、入力されたキーワードに基づく画像を生成し、S3に保存する。
- Lambda(Image vectorization function)で、画像を描画用のデータに変換する。
- ロボット(図中のXIAO Sense)を、AWS IoT CoreでMQTT接続する。描画データに基づき実際にお絵描きするように指示する。
3.2 作業手順
- AmplifyでフロントエンドWEBを作成する。
- プロンプト「A picture of an astronaut on moon, riding a horse, 8k, photorealistic, hd」を入力すると、右側に宇宙飛行士の画像が生成される。
- 生成された画像をボールペンでの描画が可能な感じのデータに変換する。
- お絵描きロボットを組み立てる。（バラバラの状態で渡されるので、アームやモーターをマニュアルに従いねじ止めしたり）
- AWS IoT Core 経由のtopic送信により、「テスト用の四角形を描画せよ」「S3に保存されたデータに基づき描画せよ」などの命令を行い、ロボットに描画させることができる。（記事冒頭の動画参照）
- 周りの人は実際にAI生成された絵の描画もできていたが、私はwifi接続が安定せず、四角形の描画までしかできなかった。
4. 所感
- 真剣にAWS上の設定したり、ロボット組み立てたりして、あっという間の2時間だった。
- 実際に物理的に動くものを作れることで、「うわー勝手に動いて絵描いてる！」みたいな驚きがあり、こういうのを自分でもやってみたいというモチベーションにつながった。