概要
pytorchでゲーム画面の物体検出をします。
pytorchのfastrcnnを用いてスクリーンショットから物体検出し、物体に合わせてマウスを移動させます。
学習データの準備
ゲームプレイ中に1秒毎にスクリーンショットを撮り、学習に使用する画像を150枚ほど用意します。
各画像に対してアノテーションデータを作成します。
学習
学習済みモデルを用いたので30分程度で終わらせました。
推論
なかなかいい感じです。
動作確認
ゲーム画面からスクリーンショットを撮り続け、学習させたモデルに入力し物体の座標を獲得します。あとは座標に合わせてマウスの操作をさせます。
視点を故意にずらしても検出した物体に合わせてマウスが自動で移動しています。
動作が遅く実用的ではないですが、きちんと動作しました。