はじめに
E2Eテストの自動化・品質管理に取り組んでいるQAエンジニアです。先日ソフトウェアテストのシンポジウム「JaSST'26 新潟」に参加してきました。
その中で聞いた事例発表「確率と戦うAIプロダクト」(株式会社LayerX 松山晃大氏)の内容を共有します。
この発表はAIが組み込まれたプロダクトの品質保証の話でした。普段AIプロダクトに携わっていない自分にとっても、テストを継続的に回して品質を測り続ける考え方や、テストの目的を分けて運用する設計は参考になる内容でした。
この発表の前提
題材は、就業規則のPDFをアップロードすると、AIが有給付与ルールを自動作成する機能です。平均50ページの就業規則から該当条文を探して転記する作業をAIに任せるもので、AIの出力がそのままユーザーの体験に影響するプロダクトです。
私たちのプロダクトはAIが介入しない、明確なインプットとアウトプットを持つ製品で、同じ操作をすれば同じ結果が返ります。確率論をそのまま当てはめるわけではありませんが、考え方として学びがありました。
品質保証の前提が「確率的」に変わった
生成AIの登場で、テストの前提が決定的なものから確率的なものに変わりました。
- 同じ瞬間でも結果がブレる ― 同じ入力でも出力が揺らぎ、1回の実行結果では合否を判断できない
- 時間の経過で結果が変わる ― 同じAIモデルでも毎日結果が変わり、昨日うまくいっても今日うまくいくとは限らない
一度テストに通っていれば品質が担保できるという前提が崩れました。
確率と戦う2つの武器
合格/不合格ではなくスコアで判定する
複数回テストを走らせて成功率を出し、項目ごとの成功率を業務への影響度に応じて重み付けして1つのスコアに合算します。このスコアの合格ラインをあらかじめ決めておき、リリースの受け入れ基準にします。
リリース後も精度を測り続ける
こちらが何も変えていなくてもAIの精度は動くため、定期的に同じ基準で測り直す仕組みが必要です。前回との差分を見ることで、たまたまのブレと本当の品質低下を見分けられる状態を保ちます。本番で崩れたケースは評価データに追加して、次からは検知できるようにします。
精度が出なくてもリリースした判断
この機能では受け入れ基準を成功率90%に設定していましたが、手動テストの結果は13パターン中4件しか90%に届かず、平均精度は45%でした。5パターンは1件も正しく作れなかったそうです。特にルールが2個以上の複雑な就業規則で精度が低いことがわかりました。
しかし、ここでリリースを諦めるのではなく、UXを作り替えることでリリースに踏み切っています。当初は確認画面なしの自動作成でしたが、「AI推奨案」として出力し、ユーザーが必ず確認・編集してから確定する形に変更しました。精度が期待に届かなくても、体験そのものを変えればユーザー価値の提供はできるという判断です。
この事例から学べるのは、精度と体験はセットで考える必要があるということ。精度が基準に達しないからリリースできない、ではなく、UXの設計を変えることでリリース可能なラインに持っていくという発想は、AIプロダクトに限らず参考になる考え方だと感じました。
なぜテストを2つの層に分けるのか
品質保証には2つの課題が同時に存在します。
| 精度を守りたい | 精度を上げたい | |
|---|---|---|
| テスト範囲 | システム全体 | AIへの指示文ごと |
| 実行タイミング | 定期的に | 修正を入れたときだけ |
| 判定基準 | 90%を下回ったらNG | 修正前より5%以上落ちたらNG |
この2つはテスト範囲も実行タイミングも判定基準もすべて違うため、1つのテストで兼ねようとすると判断がぼやけます。だから分けて判定する、というのがこの発表のアプローチです。
守りと攻めを分ける2層テスト
通しのテスト層(守り)
システム全体を通して定期的に走らせるテストです。精度が確認済みの安定したパターンを使い、スコアが90%以上で合格とします。壊れていないことを担保する役割です。
個別テスト層(攻め)
AIへの指示文を修正したときだけ、変更した箇所に絞って走らせるテストです。修正前(mainブランチ)との差分で判定し、5%以上下がったら失敗とします。精度を伸ばすための改善サイクルに使います。
守りは絶対値で下限を守り、攻めは差分で改善を回しやすくする設計です。
所感
スコアで判定するという発想が大事になる
この発表で注目したのが、スコアによる判定の考え方でした。特に、業務インパクトに応じてテスト項目に重み付けをするという発想です。
正直なところ、今の自分はテスト要件をヒアリングして、テストを作って、成功・失敗を報告しているだけの状態です。この発表を聞いて、業務インパクトを理解していなければQAとしての判断を語れないと感じました。「このテストが落ちたらどのくらい困るのか」を自分の言葉で説明できないと、ただの結果報告になってしまう。
まずはテストごとの重みを開発側と認識合わせしていくところから始めたいと思います。また、新しいテストを作るときには「この機能が壊れたときの業務インパクトはどのくらいですか」とヒアリングすることを習慣にしていきたいです。
判断基準をテストの目的ごとに明確にした方が良い
守りと攻めの2層テストで響いたのは、目的でテストを分けるという考え方そのものでした。
自分たちのテストも目的自体は分かれています。リグレッションテストはシステムの安定性を見るため、定期実行はテストの安定性を見るため。ただ、どちらも合格率100%を基準にしており、失敗したテストは全部同じように見ている状態です。
この発表を聞いて、テストが失敗したときの判断基準はテストの目的によって異なるのではないかと感じました。すべての失敗を同じ重さで扱うのではなく、「このテストの失敗はどういう意味を持つのか」を分けて考える必要があるのかもしれない。そしてこの議論をチーム内で一度もしていないことに気づいたので、まずは判断基準をチームで言語化するところから始めたいと思います。
テストの評価を、点ではなく線で考える
5回テストが成功しても6回目で不具合が見つかることはあります。リリース前のテストでは見つからないかもしれません。だから重大な機能は自動化して継続的に回すことで、品質を線で捉えられるようになります。テストが楽になるだけでなく、自動化によって分析・計測がしやすくなるのも大きなメリットです。
自分のチームでも通しのテストを定期実行して、プロダクトの品質とテスト自体の品質を継続的に計測・分析しています。テストが気まぐれに落ちることもあるので(コードに問題がなくても、タイミングや環境の都合でたまたま失敗するテスト)、安定したテストが使いたいときに使える状態を保つために、日々の成功・失敗率を見ることが大事だと感じています。
この発表を通して、自分たちの活動の方向性が間違っていないことにも気づけました。
AIを使う上で大事な気づき
AIが作ったものを判断できることが大事だとよく言われますが、SKILLなどの仕組みを使っても出力に差が出る可能性は大いにありえます。QAやエンジニアに限らず、「何が良い出力か」の評価基準を事前に言語化しておくことが、判断する仕組みを作る上で重要だと感じました。
おわりに
AIプロダクトの品質保証という題材でしたが、「テストの結果を点ではなく線で見る」「テストの目的に応じて仕組みを分ける」といった考え方は、AIが介入しないプロダクトのテストにもそのまま活かせると感じました。自分たちがやっている継続的なテスト実行・品質計測の方向性が間違っていないと気づけたのも、大きな収穫でした。
元資料
- JaSST'26 Niigata 事例発表「確率と戦うAIプロダクト 〜『守り』と『攻め』を分ける2層テストアーキテクチャ〜」松山晃大(株式会社LayerX)
- 元資料PDF