味方と相手の武器がわからん！

はじめまして。スプラトゥーン超初心者です。

スプラトゥーン（以下スプラ）は、超簡単に説明すると、4対4のチームに分かれて行うオンラインの対戦ゲームで、ステージをインクで塗り広げたり敵を倒したりして勝利を目指すゲームです。
公式サイト　スプラトゥーンって？
~~もうすぐ3作目が発売なので興味ある方はぜひ始めましょう！~~

スプラ始めたばかりの悩みの1つに、見た目が似てる武器が判断できないってものがあります。（自分だけかもですが、、、）
試合開始直前に自分チームと相手チームの見た目が一瞬表示されるのですが、区別できずに、「どっちだ？」ってなることばかり、、、
（試合開始後も相手の武器は画面に表示されてますがそっちも区別が難しい、、、）
具体例としてスプラシューター（以下スシ）とスプラシューターコラボ（以下スシコラ）で比較してみると

スシ

試合開始直前

試合開始後

スシコラ

試合開始直前

スシと比べて真ん中に白のラインが入ってます。

試合開始後

こっちも白いラインが入っているのと、右下にロゴがついてますが、小さくて見づらい、、、、

試合開始直前の画像を比べると、ちょっと見ればすぐ区別できますが、この画面は一瞬しか表示されず、自分以外の7人の武器を一瞬で完全に判別するのはかなり大変、、、（スシとスシコラ以外にも似てる武器の組み合わせはたくさんあるので、、、）

そこで、試合開始直前の、上で載せた4人で並んでる画像を見て武器を判定してくれるシステムがあったらいいなって思い、
その第一歩として、Teachable Machineを用いてスシとスシコラ（とスプラシューターベッチュー、通称スシべ）を判別してくれるAIを作ろうと試みました。

使用ツール（？）

スプラトゥーン
素晴らしい神ゲー。~~もうすぐ新作出ます。（大切なことなので2回言いました）~~
Teachable Machine
Node-RED

試作品～判別できてない、、、～

ゲーム画面を観てスシかスシコラか区別しようとしてくれる誰得AI作りました（）
AIでも区別できないなら自分も試合中に見間違えるの仕方ないね（スプラ初心者の言い訳）
#protoout #Splatoon pic.twitter.com/kGtvzdv1iu
— やまかず (@nobita_gkb) July 23, 2022

スシもスシコラもスシコラって判定されてる、、、、
突貫作業で作ったから学習用の素材の画像が足りてないのが大きそう、、、、
もう1つのスプラシューターベッチュー（以下スシべ）は判定できてる（色が明らかに違うから判定しやすかった説）

Node-REDの流れはこちら

Teachable Machine

template

ここで問題発生、、、

Teachable MachineのAIモデルのプロジェクトを保存し忘れた、、、

URLは残ってたので、試作したAIを使うことはできても、学習した画像を確認したり、新たに学習する事ができない、、、
また素材を集めて作り直し、、、

課題は山盛り

・そもそもAIの精度が悪すぎる

学習用の素材をしっかり再考する必要があり
試合開始直前の画像を各武器で大量に用意する（各武器100試合分くらいあれば精度上がる？？）

・全武器の画像で学習する必要がある

今回はスシとスシコラとスシべだけで作ったけど、現在武器は全部で、なんと139種、、、
学習素材集めがとんでもない事になりそう。

・判定したい画像の読み込み方を考える

少なくともゲーム画面をPCにキャプチャする設備は必要になりそう
キャプチャした画面をNode-REDに読み込む方法も調べなければ

懸念点～そもそもこれ実装できても使って大丈夫？？～

文章書いてる途中で思った事ですが、諸々の課題をクリアして、試合開始前に武器を教えてくれるAIができても、これを使った場合、自分だけに有利な情報が入ってくることになります。（試合画面見れば分かる情報だけですが、、、）これってチート使ってるのと変わらんのでは、、、？
ウデマエっていう、レーティングシステムがあるガチマッチだとまずアウトだと思う、、、。

あとがき

画像や音声を学習してものを判断してくれるTeachable Machineというものがあると知って、何か便利で面白いもの作れないかと思って、ぱっと思いついた武器を判定してくれるAIを作ってみましたが、全く実用性・有用性のあるものが作れず、アイデアを出し、実現する事の大変さを実感しました。課題解決のアイデアを出すって難しい、、、
ここまで読んでいただき、ありがとうございました。