はじめに
皆さんこんにちは。
普段、モバイルゲームの品質管理をしているものです。
不具合の再発防止や業務効率化などに従事しております。
記事の投稿は7回目になります。
今年はAIを使う機会が多かったのでどういったことが得られたかを記事にしたいと思います。
普段のQA業務において同じ障害が立て続けに出てしまったり、対策が機能していなかった課題が起きており、
品質保証業務の中で再発防止策のFBやアドバイスを欲しかったのが取り組み始めた経緯になります。
ただ、筆者のAIに対する理解がそこまで深いわけではないのでもっと最適なやり方があるかもしれませんが参考程度に見てもらえると幸いです。
生成AIについて
始めに生成AIについても軽く説明しておきます。
説明不要かと思いますが調べ物はもちろん、単なる情報収集にとどまらず、新しいアイディアの創出をしてくれる大変便利なツールになります。
色々な種類（Gemini、Claude、Perplexityなど）がありますが、今回は手の付けやすさ、扱いやすさといった観点からChatGPTを使用しました。
※バージョンはGPT-4o
今回は、障害分析における再発防止策の検討を主なテーマとして取り組んだ内容をご紹介します。
Geminiも触ってみたのでその違いについても軽く話したいと思います。
障害分析（再発防止の検討）
障害の傾向分析やその傾向からFBする際のアドバイスや、改善したほうが良い点などをもらえることを期待し取り組みました。
簡易的なプロンプトで試しましたが、それでもアウトプットの情報量も多く、再発防止策を考えるきっかけにすることができました。
↓プロンプト
↓アウトプット
一般的な情報から対策を組み立ててくれる傾向があり、いくつかの再発防止策の提案をしてくれています。
ガチャで排出されないキャラクターが出てしまった障害に対して、シミュレーターの実装やマスタデータのダブルチェック、バリデーション導入など対策検討において有用性がありそうです。
特に大きなメリットとしてあまり考えたことのない切り口からFBがあるので、
原因の深掘りが進み、表面的な対策にならず、再発しない対策の精度が上がります。
また、同じメンバー/視点だけで分析していると、どうしても見落としてしまう領域があります。
外部や別観点のFBは、その気づきにくいリスクや前提の誤りを発見する機会にもつなげることができました。
↓Geminiのアウトプット（プロンプトは同じ）
似ているところはあるものの、二重チェックやスモークテストを仕組化するなど、
ChatGPTとは違った切り口で出力してくれるので生成AIを組み合わせることでより精度の高い対策選定が可能と感じました。
キャラクターの排出ミスに関してバリデーション導入やシミュレーター実装などは一般的にある流れですが、
デプロイプロセスの改善でスモークテストの仕組みを導入するなどは新しい視点が盛り込まれており、検討の材料として参考になると感じました。
ここまでは生成AIの有用性を中心に述べてきましたが、状況によっては手動での対応が望ましいケースもあります。
例えば、「全てのガチャに自動チェックを導入する」といった理想的ではあるものの、工数や予算の制約から現実的には実装が難しい案が提示される場合があります。
一方で、手動であれば、現場のリソース状況を踏まえた実行可能な代替案を導き出すことができます。
次回リリースまでは自動化が困難なため、まずはレビュー体制を強化して対応するといった判断が可能になります。
こうした点を踏まえると、AIと手動のいずれか一方に依存するのではなく、
両者を適切に使い分けることで、より効率的かつ実効性の高い障害分析が可能になると感じています。
プロダクトの状況や特性を適切にプロンプトに反映することで、より現実的で実行可能な対策案を導き出せる可能性があります。
この辺は今後の展望としてもう少し研究していきたいと思います。
まとめ
生成AIをゲームQA業務に活用した結果、特に以下の点で有効性を感じました。
障害分析（再発防止の検討）では障害情報を入力すると一般的な品質保証の知識を踏まえた対策案を複数提示され、
・見落としがちな“別視点”のFBが得られる
・原因の深掘りが進み、表面的な対策になりにくい
・対策案の幅が広がり、質の向上
・生成AIの結果を比較してより妥当な対策を選べる
「正解を出すツール」として使うのではなく、
思考の補助、サポートとして使うことで、再発防止策の精度向上に寄与することを強く実感しました。
日々の分析や再発防止策の検討において考えの偏りをなくす役割として機能すると思いますので、QAするときの参考になれば幸いです。
それでは、みなさんよいクリスマスを