動機
Tensorflow.jsを使うとブラウザだけでAIを使ってハンドジェスチャーを識別できることを知りました。ハンドジェスチャーをいろいろと機械学習させているうちに、ゲームに使えそうだなと思って作り始めました。
ゲーム概要
カメラに映った手のポーズで敵を攻撃する3Dシューティングゲームです。効果音を入れて敵を倒した時の爽快感を重視してます。
URL
技術要素
クライアント側（ブラウザ）で動作するものだけです。サーバー処理は一切ありません。
- Tensorflow.js
- Three.js
- React
動作環境
- カメラが付いているノートPC、デスクトップPCを推奨
- ブラウザはChromeを推奨
- 処理が重めなので、まあまあスペックの良いPCを推奨
画面
ゲームで使えるジェスチャー
- 通常攻撃
- 銃のポーズで構えてバーンって撃つ感じで攻撃できます
- チャージショット
- 銃のポーズで停止しているとチャージされます（最大5段階）。この状態でバーンって撃つ感じで貫通攻撃できます
- デコピン
- 敵をデコピンすると敵を後ろに下げることができます
ジェスチャーの学習
ジェスチャーの認識が悪い場合に再学習できるようにトレーニング用の画面も作ってあります。
今後の予定
アイテムを取得したら武器の威力が強くなるとか入れようかなと思ってます。他のジェスチャーを使った攻撃や防御もアイディアが浮かんだら入れる予定です。