この記事は技術やAIによって何かを解決した!という内容ではありません。
むしろ、無自覚にAIをTool化してたらテスト空白領域が生じてしまい、危機感を抱いているという話です。
各プロセス向けのカスタムGPT
JSTQBに従ってテスト計画から完了まで、ほぼ全てのテストプロセスに対応したカスタムGPTを作りました。
そして業務内でバンバン活用しています。
これらは、仕様やPRDを添付すると、そのプロセスのアウトプットを出してくれるものです。
もともとプロセス改善のためにPFD(Process Flow Diagram)や、
PFDを説明するためのプロセス定義書を作成していました。
カスタムGPTを作るにあたっては、これらを流用するだけでAIの業務活用に適応できました。
「このプロセスではどんなインプットに対して何をするのか、最終的に何がアウトプットなのか」を
明確にしてやることで、AIのアウトプットの質が上がっています。
業務に使わんという手はないやろ…というレベルです。自画自賛です。
カスタムGPTを中心とした業務フロー
上流のテストプロセスで仕様書をカスタムGPTに突っ込み、そのアウトプットをレビュー。
修正したものを次のプロセス向けカスタムGPTに突っ込み、そのアウトプットをレビュー。
……こんな業務フローが確立しています。
人間はほぼレビュアーです。
(正直、テスト業務があまり面白くなくなりました)
AIの空白地帯
「 ほぼ全てのテストプロセス」でカスタムGPTを使っていると言いました。
つまりまだ良い感じに業務へ適応できるAIエージェントが存在しないテストプロセスが残っています。
手動でやっているE2Eのテスト実行 です。
E2Eで良い感じにテストケースをバンバン回せます!というエージェントやツールは
なかなか存在しません。
ごく一部だけならテスト実行もできるよね…くらいな温度感です。
2025年の後半はこの空白地帯を埋めるべく、バイブコーディングによる自作Toolにも挑戦しました。
API経由で生成AIの力を使いながらPlaywrightでテストを進めていくという構想です。
いまだに業務利用に耐えうるものは実現できていません。……構想自体は素晴らしかったと思うんだけどなぁw
(その辺りの内容はSpeakersDeckをご覧ください)
というわけで、ごく一部のテスト実行領域を残してAI空白地帯は広く残ったままです。
(テスト=ここでは手動E2Eテストを指します)
AIを使うとアホになる
https://www.anthropic.com/research/AI-assistance-coding-skills
Claudeを開発しているAntropic社の研究結果です。
participants in the AI group scored 17% lower than those who coded by hand,
(AIグループの参加者は、手作業でコーディングした参加者よりも17%低いスコアだった。)
とあります。
………マ!?!?!?!?![]()
…取り乱しました。
でも、なんとなく感じていました。
無自覚にAIを使うと理解が浅くなるのです。
危機的な困りごと
問題は特にテスト分析です。
AIを使ってテスト分析のアウトプットを作っているため、テスト対象に対する理解が浅いまま、プロジェクトが進行します。
AIの生成物をレビューしてるなら理解できるんじゃないかと思われるかもしれませんが、
これらに対するレビューは、提示されたものが「もっともらしいか」を確認する受動的な作業です。
自らの脳内で積極的に構造化して進めるレビューではありません。
なので、レビューでは本質的な理解は捗りません。
そしてそのまま「探索的テスト」へと進んでゆくのです。
探索的テストは「そこまでのテストプロセスを通して理解したことを基に 、さらに探索していくテスト」です。
理解できてないんですよ…探索的テストに入る時点で!
テスト対象のことを深く理解していないまま探索的テストに入らざるを得ないんです。(怖)
といって現時点ではAIでカバーできない領域でもあります。
つまり、特にアジャイルテストにとっては主軸となるようなエリアが「誰の守備範囲でもない」という空白地帯となる、危機的状況です。
解決策
- わざわざ穴あきのテスト分析結果を出力させるのか?(めちゃムダ)
- AIに問題みたいに出してもらうのか?(テスト分析ってそう言う感じじゃない)
……など絶賛 考え中です。
アイデア募集中!