設計書に渡す情報を増やすと、LLMのテスト仕様書は良くなるのか? A〜D条件で比較してみた
※本記事はAIを利用して推敲しています。
※検証に使用したLLMはChatGPT Work(5.6 Sol)
はじめに
「画面設計書だけLLMに渡せば、そこそこ使えるテスト仕様書が出てくるんじゃないか」——そんな気軽な思いつきから始めた検証です。
ただ、実際にやってみると気になることが増えてきました。機能仕様まで渡したらどう変わるのか。テスト観点を追加したら異常系は増えるのか。既存のテスト仕様書を見本として渡したら、書き方はどのくらい安定するのか。
今回はログイン画面を題材に、LLMに渡す入力資料を4段階に分けて比較してみました。
先に感触だけお伝えすると、次のような傾向が見えました。
- 機能仕様を足すと、状態制御と期待結果が一気に具体化する
- テスト観点を足すと、異常系と境界値がさらに増える
- 既存例を足すと、件数はそこまで増えないが書き方が締まる
- ただし、渡した設計書そのものの誤りは、どの条件でも見抜けなかった
つまり「たくさんテストケースを作れること」と「正しいテストケースを作れること」は、思っていた以上に別の話だった、というのが今回の結論です。
実験の概要
対象はFeatureID F01、ログイン画面です。
画面上の要素は以下の通りです。
- メールアドレス
- パスワード
- ログインボタン
- パスワード再設定リンク
- エラー表示領域
機能仕様には、ログイン成功、必須チェック、認証失敗、アカウントロック、失敗回数、ロック解除時刻などが含まれています。
同じ機能に対して、渡す資料の量だけを変えた4条件でテスト仕様書を生成しました。
| 条件 | LLMに渡した資料 | 確認したい効果 |
|---|---|---|
| A | 画面設計書のみ | 画面情報だけでどこまで作れるか |
| B | 画面設計書+機能仕様書 | 業務ルールや状態を反映できるか |
| C | B+共通/F01テスト観点 | 異常系、境界値、状態遷移が増えるか |
| D | C+既存テスト仕様書例 | 書式と粒度が安定するか |
なお既存テスト仕様書例は、今回のF01そのものの正解ではなく、あくまで書き方の参考として渡した資料です。
出力形式
条件をそろえるため、すべての条件で次の10列を持つテストケース表を出力するよう指定しました。
- No
- 対象画面・機能
- テスト分類
- テスト観点
- 前提条件
- 操作手順
- 入力値
- 期待結果
- 優先度
- 備考
期待結果については、できるだけ次の情報を含めるよう指示しています。
- 画面遷移先
- 表示メッセージ
- ボタンの活性・非活性
- 状態値の更新
- エラー発生時に変更されないデータ
仕様が読み取れない部分は、無理に埋めず備考に「要確認」と書くようにも伝えました。
評価方法
生成が終わったあと、こちらで用意していた評価者用Oracleと突き合わせて採点しています。もちろんOracleは生成時にはLLMへ渡していません。
見ていた項目は次の通りです。
- 書式遵守
- テストケース数
- 正常系数
- 異常系数
- 境界値数
- 権限・状態制御数
- 期待結果の具体性
- 隠し不備を検出できるか
- 誤った期待結果を書いていないか
- 判定不能ケース数
このうち書式遵守、期待結果具体性、不備検出可能性、誤期待の4項目は0〜2点でスコア化しました。
不備検出可能性の基準はこちらです。
| 点数 | 判定 |
|---|---|
| 0 | 関連するテストケースなし |
| 1 | 関連観点はあるが、不備を検出できない |
| 2 | 実行すれば不備を検出できる |
誤期待は逆に、点数が高いほど良い評価になります。
| 点数 | 判定 |
|---|---|
| 0 | 誤期待あり |
| 1 | 曖昧 |
| 2 | 誤期待なし |
異常系数には異常系・例外系・必須入力・入力チェック・形式チェックをまとめて含めています。権限・状態制御数は、権限制御・状態制御・状態遷移をまとめたものです。
実験結果
| 条件 | 書式遵守 | ケース数 | 正常系 | 異常系 | 境界値 | 権限・状態 | 期待結果具体性 | 不備検出 | 誤期待 | 判定不能 |
|---|---|---|---|---|---|---|---|---|---|---|
| A | 2 | 18 | 4 | 8 | 2 | 0 | 1 | 0 | 2 | 1 |
| B | 2 | 28 | 3 | 9 | 5 | 7 | 2 | 1 | 0 | 1 |
| C | 2 | 34 | 2 | 11 | 9 | 7 | 2 | 1 | 0 | 0 |
| D | 2 | 31 | 2 | 9 | 7 | 7 | 2 | 1 | 0 | 0 |
数字だけ見ても分かりづらいので、条件ごとに中身を見ていきます。
条件A:画面設計書だけでも、意外とテストは作れる
条件Aでは18件のテストケースが出てきました。
含まれていた主な観点は次の通りです。
- 初期表示
- プレースホルダー
- パスワードのマスク
- 必須入力
- メール形式
- パスワードの最小文字数
- ログイン成功・失敗
- パスワード再設定画面への遷移
画面単体のテストとしては、思っていたよりちゃんとしています。
ただ、失敗回数やロック状態といった機能ルールをそもそも渡していないので、状態制御のテストは0件でした。これは当然といえば当然です。
また、ログイン成功後にどこへ遷移するかが分からないため、「認証に成功する」という、なんとも言えない曖昧な期待結果が残ってしまいました。画面設計書だけでは、ここが限界のようです。
条件B:機能仕様を足すと、状態制御が一気に増える
条件Bでは28件まで増えました。
一番大きな変化は、権限・状態制御が0件から7件になったところです。
追加されたテストの中身はこんな感じでした。
- 認証失敗回数の加算
- 成功時の失敗回数リセット
- 連続失敗によるロック
- ロック中の再ログイン禁止
- ロック解除直前・解除時刻の境界
- ロック解除後の再ログイン
- 異なるメールアドレスを挟んだ場合の連続性
画面設計書だけでは絶対に出てこなかった、実務上けっこう大事な期待結果がちゃんと具体化されています。
もう一つ面白かったのが、LLMが「必須チェック時にメッセージを表示する」という機能ルールと、「未入力時はログインボタンが非活性」という画面仕様の食い違いを自分から指摘してきたことです。
同じ資料の中で直接ぶつかる記述については、LLMは意外と拾ってくれるようです。
条件C:テスト観点を足すと、境界値が強くなる
条件Cは34件で、4条件の中で一番多くなりました。
条件Bと比べると、次の項目が伸びています。
- 異常系:9件→11件
- 境界値:5件→9件
- 判定不能:1件→0件
渡した共通テスト観点には、「下限、上限、直前、直後を確認する」という指示が入っていました。
さらにF01固有の観点として、次の3項目を渡しています。
- 失敗回数の境界
- ロック中の再ログイン
- ロック解除後の再ログイン
これによって、失敗回数の遷移や、ロック解除時刻の直前・一致・直後といった細かいところまで、ちゃんとテストケースとして出てくるようになりました。
やってみて感じたのは、「境界値を含めてください」みたいなふわっとした指示より、機能ごとに注目してほしいポイントを名指しした方が、素直に反映されやすいということです。
条件D:既存例を足すと、粒度は安定するが件数は増えない
条件Dは31件でした。
条件Cより3件減っていますが、これは内容が悪くなったというより、既存例に合わせて整理された結果と見ています。
渡した既存例には、次のような特徴がありました。
- 1ケース1観点
- 操作手順が短い
- 入力値が具体的
- 期待結果に画面表示とデータ更新を書く
- 異常系では副作用がないことも確認する
条件Dの出力を見ると、この粒度がそのまま反映されていました。
例えば状態制御のテストでは、事前に失敗回数を設定しておき、1回の操作で状態変化を確認する、というシンプルな形になっています。条件Cよりも簡潔で、実施する人にとっては読みやすいはずです。
一方で、既存例を渡したからといって、新しい検証観点が増えるわけではありませんでした。既存例は「何をテストするか」ではなく、「どう書くか」に効く資料、というのが今回の実感です。
隠し不備は検出できたか
今回、F01には評価用として隠し不備を1件仕込んでおきました。再現性を守りたいので、この記事では具体的な正解値は伏せます。
結果はこうなりました。
- 条件A:そもそも関連する状態制御テストがなく、検出不可
- 条件B:関連する観点はあるが、設計書側の誤った期待結果をそのまま採用
- 条件C:境界値テストは増えたが、誤った前提のまま細かく詳細化されただけ
- 条件D:書式は改善したが、誤った前提自体は修正されない
つまりB〜Dでは「関連するテスト」は着実に増えていったのですが、「不備を発見できるテスト」には最後までなりませんでした。
むしろ設計書に書かれているルールを疑いなく前提として、誤った期待結果をどんどん精密に書いていく、という動きすら見られました。
これはLLMにテストを作らせるうえで、地味に一番大事な注意点だと思います。
LLMは、与えられた仕様をテストへ展開するのは得意だけれど、その仕様が正しいかどうかまでは保証してくれない。
テストケース数や境界値数が増えても、前提そのものが間違っていれば、品質保証にはつながらない。今回はそれを数字で見せられた感覚があります。
今回分かったこと
1. 画面設計書だけでは、状態制御が足りなくなる
条件AでもUIまわりのテストは作れましたが、認証失敗回数やロック状態のようなものは扱えませんでした。状態を持つ機能では、データ項目と状態遷移ルールをちゃんと渡す必要がありそうです。
2. テスト観点は、網羅性を底上げしてくれる
条件Cでは異常系と境界値がしっかり増えました。特に「失敗回数の境界」のような、機能に固有の観点を渡すのが効いている印象です。
3. 既存例は、書式と粒度を安定させてくれる
条件Dでは件数を増やすというより、読みやすく、実施しやすい形に整えてくれる効果が見られました。
4. 誤った仕様は、そのまま誤った期待結果になる
今回、個人的に一番印象に残った結果です。
LLMは仕様書に書かれている数値や条件を素直に信じて、テストへ展開していました。テスト観点や既存例を追加しても、この傾向自体は変わりませんでした。
仕様そのものの正しさまで検証したいなら、通常のテスト生成とは別に、こういった工程を挟む必要がありそうです。
- 仕様間の矛盾チェック
- 既存業務ルールとの照合
- 複数の代替境界を仮定したテスト生成
- 実装・運用・外部規約との比較
- 人間によるレビュー
実験上の注意点
今回の検証には、いくつか制約があります。正直にまとめておきます。
1機能だけの試行
今回見たのはF01だけです。一般化するには、他の機能でも同じ実験を重ねる必要があります。
同一対話内でA〜Dを連続実行
条件A〜Dを同じ対話の中で続けて実行したため、後の条件が前の出力の影響を受けている可能性があります。厳密に比較するなら、条件ごとに新しい対話を用意して、履歴を分離すべきでした。
生成回数が各条件1回だけ
LLMの出力にはどうしても揺らぎがあります。条件ごとに複数回生成して、平均と分散を見る必要があります。
手動集計を含む
テスト分類の集計ルールは事前に固定しましたが、期待結果の具体性や判定不能の評価には、人間の主観がどうしても入ります。複数の評価者で一致率を見たいところです。
次に試したいこと
次はこのあたりを足していきたいと考えています。
- 全10機能でA〜D条件を実施する
- 条件ごとに独立した対話を使う
- 各条件を複数回生成する
- 複数のLLMを比較する
- 複数評価者で採点する
- 仕様矛盾検査専用の条件Eを追加する
条件Eでは、正解そのものは渡さず、次のような指示だけを追加してみるつもりです。
- 数値条件に誤りがある可能性を考慮する
- 境界値の代替仮説を複数作る
- 仕様間で発火不能なルールがないか確認する
- 期待結果の根拠となる仕様箇所を明記する
- 確証のない期待結果は「要確認」に分離する
単なる仕様の展開ではなく、仕様レビューに近い振る舞いを引き出せないか、という狙いです。
まとめ
今回のF01ログイン画面での実験では、渡す資料を増やすほど、次のあたりは素直に良くなっていきました。
- テストケースの網羅性
- 異常系と境界値の数
- 状態制御の具体性
- 期待結果の明確さ
- 書式と記述粒度
一方で、評価用に仕込んだ隠し不備を見抜けた条件は、最後までひとつもありませんでした。
LLMにテスト仕様書を作らせるなら、設計書・テスト観点・既存例を組み合わせるのは素直に有効だと思います。ただそれは、「渡した仕様を丁寧に展開する力」を伸ばすものであって、「仕様そのものが正しいか」を保証してくれるわけではない。今回はそれを、数字を通してあらためて確認できた気がしています。
ケース数だけを見て満足せず、その期待結果がどの前提に基づいているのか、間違った仕様をそのまま正解として扱っていないか——そこは、結局のところ人が見るしかないのかもしれません。