0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

設計書に渡す情報を増やすと、LLMのテスト仕様書は良くなるのか? A〜D条件で比較してみた

0
Posted at

設計書に渡す情報を増やすと、LLMのテスト仕様書は良くなるのか? A〜D条件で比較してみた

※本記事はAIを利用して推敲しています。
※検証に使用したLLMはChatGPT Work(5.6 Sol)

はじめに

「画面設計書だけLLMに渡せば、そこそこ使えるテスト仕様書が出てくるんじゃないか」——そんな気軽な思いつきから始めた検証です。

ただ、実際にやってみると気になることが増えてきました。機能仕様まで渡したらどう変わるのか。テスト観点を追加したら異常系は増えるのか。既存のテスト仕様書を見本として渡したら、書き方はどのくらい安定するのか。

今回はログイン画面を題材に、LLMに渡す入力資料を4段階に分けて比較してみました。

先に感触だけお伝えすると、次のような傾向が見えました。

  • 機能仕様を足すと、状態制御と期待結果が一気に具体化する
  • テスト観点を足すと、異常系と境界値がさらに増える
  • 既存例を足すと、件数はそこまで増えないが書き方が締まる
  • ただし、渡した設計書そのものの誤りは、どの条件でも見抜けなかった

つまり「たくさんテストケースを作れること」と「正しいテストケースを作れること」は、思っていた以上に別の話だった、というのが今回の結論です。

実験の概要

対象はFeatureID F01、ログイン画面です。

画面上の要素は以下の通りです。

  • メールアドレス
  • パスワード
  • ログインボタン
  • パスワード再設定リンク
  • エラー表示領域

機能仕様には、ログイン成功、必須チェック、認証失敗、アカウントロック、失敗回数、ロック解除時刻などが含まれています。

同じ機能に対して、渡す資料の量だけを変えた4条件でテスト仕様書を生成しました。

条件 LLMに渡した資料 確認したい効果
A 画面設計書のみ 画面情報だけでどこまで作れるか
B 画面設計書+機能仕様書 業務ルールや状態を反映できるか
C B+共通/F01テスト観点 異常系、境界値、状態遷移が増えるか
D C+既存テスト仕様書例 書式と粒度が安定するか

なお既存テスト仕様書例は、今回のF01そのものの正解ではなく、あくまで書き方の参考として渡した資料です。

出力形式

条件をそろえるため、すべての条件で次の10列を持つテストケース表を出力するよう指定しました。

  1. No
  2. 対象画面・機能
  3. テスト分類
  4. テスト観点
  5. 前提条件
  6. 操作手順
  7. 入力値
  8. 期待結果
  9. 優先度
  10. 備考

期待結果については、できるだけ次の情報を含めるよう指示しています。

  • 画面遷移先
  • 表示メッセージ
  • ボタンの活性・非活性
  • 状態値の更新
  • エラー発生時に変更されないデータ

仕様が読み取れない部分は、無理に埋めず備考に「要確認」と書くようにも伝えました。

評価方法

生成が終わったあと、こちらで用意していた評価者用Oracleと突き合わせて採点しています。もちろんOracleは生成時にはLLMへ渡していません。

見ていた項目は次の通りです。

  • 書式遵守
  • テストケース数
  • 正常系数
  • 異常系数
  • 境界値数
  • 権限・状態制御数
  • 期待結果の具体性
  • 隠し不備を検出できるか
  • 誤った期待結果を書いていないか
  • 判定不能ケース数

このうち書式遵守、期待結果具体性、不備検出可能性、誤期待の4項目は0〜2点でスコア化しました。

不備検出可能性の基準はこちらです。

点数 判定
0 関連するテストケースなし
1 関連観点はあるが、不備を検出できない
2 実行すれば不備を検出できる

誤期待は逆に、点数が高いほど良い評価になります。

点数 判定
0 誤期待あり
1 曖昧
2 誤期待なし

異常系数には異常系・例外系・必須入力・入力チェック・形式チェックをまとめて含めています。権限・状態制御数は、権限制御・状態制御・状態遷移をまとめたものです。

実験結果

条件 書式遵守 ケース数 正常系 異常系 境界値 権限・状態 期待結果具体性 不備検出 誤期待 判定不能
A 2 18 4 8 2 0 1 0 2 1
B 2 28 3 9 5 7 2 1 0 1
C 2 34 2 11 9 7 2 1 0 0
D 2 31 2 9 7 7 2 1 0 0

数字だけ見ても分かりづらいので、条件ごとに中身を見ていきます。

条件A:画面設計書だけでも、意外とテストは作れる

条件Aでは18件のテストケースが出てきました。

含まれていた主な観点は次の通りです。

  • 初期表示
  • プレースホルダー
  • パスワードのマスク
  • 必須入力
  • メール形式
  • パスワードの最小文字数
  • ログイン成功・失敗
  • パスワード再設定画面への遷移

画面単体のテストとしては、思っていたよりちゃんとしています。

ただ、失敗回数やロック状態といった機能ルールをそもそも渡していないので、状態制御のテストは0件でした。これは当然といえば当然です。

また、ログイン成功後にどこへ遷移するかが分からないため、「認証に成功する」という、なんとも言えない曖昧な期待結果が残ってしまいました。画面設計書だけでは、ここが限界のようです。

条件B:機能仕様を足すと、状態制御が一気に増える

条件Bでは28件まで増えました。

一番大きな変化は、権限・状態制御が0件から7件になったところです。

追加されたテストの中身はこんな感じでした。

  • 認証失敗回数の加算
  • 成功時の失敗回数リセット
  • 連続失敗によるロック
  • ロック中の再ログイン禁止
  • ロック解除直前・解除時刻の境界
  • ロック解除後の再ログイン
  • 異なるメールアドレスを挟んだ場合の連続性

画面設計書だけでは絶対に出てこなかった、実務上けっこう大事な期待結果がちゃんと具体化されています。

もう一つ面白かったのが、LLMが「必須チェック時にメッセージを表示する」という機能ルールと、「未入力時はログインボタンが非活性」という画面仕様の食い違いを自分から指摘してきたことです。

同じ資料の中で直接ぶつかる記述については、LLMは意外と拾ってくれるようです。

条件C:テスト観点を足すと、境界値が強くなる

条件Cは34件で、4条件の中で一番多くなりました。

条件Bと比べると、次の項目が伸びています。

  • 異常系:9件→11件
  • 境界値:5件→9件
  • 判定不能:1件→0件

渡した共通テスト観点には、「下限、上限、直前、直後を確認する」という指示が入っていました。

さらにF01固有の観点として、次の3項目を渡しています。

  • 失敗回数の境界
  • ロック中の再ログイン
  • ロック解除後の再ログイン

これによって、失敗回数の遷移や、ロック解除時刻の直前・一致・直後といった細かいところまで、ちゃんとテストケースとして出てくるようになりました。

やってみて感じたのは、「境界値を含めてください」みたいなふわっとした指示より、機能ごとに注目してほしいポイントを名指しした方が、素直に反映されやすいということです。

条件D:既存例を足すと、粒度は安定するが件数は増えない

条件Dは31件でした。

条件Cより3件減っていますが、これは内容が悪くなったというより、既存例に合わせて整理された結果と見ています。

渡した既存例には、次のような特徴がありました。

  • 1ケース1観点
  • 操作手順が短い
  • 入力値が具体的
  • 期待結果に画面表示とデータ更新を書く
  • 異常系では副作用がないことも確認する

条件Dの出力を見ると、この粒度がそのまま反映されていました。

例えば状態制御のテストでは、事前に失敗回数を設定しておき、1回の操作で状態変化を確認する、というシンプルな形になっています。条件Cよりも簡潔で、実施する人にとっては読みやすいはずです。

一方で、既存例を渡したからといって、新しい検証観点が増えるわけではありませんでした。既存例は「何をテストするか」ではなく、「どう書くか」に効く資料、というのが今回の実感です。

隠し不備は検出できたか

今回、F01には評価用として隠し不備を1件仕込んでおきました。再現性を守りたいので、この記事では具体的な正解値は伏せます。

結果はこうなりました。

  • 条件A:そもそも関連する状態制御テストがなく、検出不可
  • 条件B:関連する観点はあるが、設計書側の誤った期待結果をそのまま採用
  • 条件C:境界値テストは増えたが、誤った前提のまま細かく詳細化されただけ
  • 条件D:書式は改善したが、誤った前提自体は修正されない

つまりB〜Dでは「関連するテスト」は着実に増えていったのですが、「不備を発見できるテスト」には最後までなりませんでした。

むしろ設計書に書かれているルールを疑いなく前提として、誤った期待結果をどんどん精密に書いていく、という動きすら見られました。

これはLLMにテストを作らせるうえで、地味に一番大事な注意点だと思います。

LLMは、与えられた仕様をテストへ展開するのは得意だけれど、その仕様が正しいかどうかまでは保証してくれない。

テストケース数や境界値数が増えても、前提そのものが間違っていれば、品質保証にはつながらない。今回はそれを数字で見せられた感覚があります。

今回分かったこと

1. 画面設計書だけでは、状態制御が足りなくなる

条件AでもUIまわりのテストは作れましたが、認証失敗回数やロック状態のようなものは扱えませんでした。状態を持つ機能では、データ項目と状態遷移ルールをちゃんと渡す必要がありそうです。

2. テスト観点は、網羅性を底上げしてくれる

条件Cでは異常系と境界値がしっかり増えました。特に「失敗回数の境界」のような、機能に固有の観点を渡すのが効いている印象です。

3. 既存例は、書式と粒度を安定させてくれる

条件Dでは件数を増やすというより、読みやすく、実施しやすい形に整えてくれる効果が見られました。

4. 誤った仕様は、そのまま誤った期待結果になる

今回、個人的に一番印象に残った結果です。

LLMは仕様書に書かれている数値や条件を素直に信じて、テストへ展開していました。テスト観点や既存例を追加しても、この傾向自体は変わりませんでした。

仕様そのものの正しさまで検証したいなら、通常のテスト生成とは別に、こういった工程を挟む必要がありそうです。

  • 仕様間の矛盾チェック
  • 既存業務ルールとの照合
  • 複数の代替境界を仮定したテスト生成
  • 実装・運用・外部規約との比較
  • 人間によるレビュー

実験上の注意点

今回の検証には、いくつか制約があります。正直にまとめておきます。

1機能だけの試行
今回見たのはF01だけです。一般化するには、他の機能でも同じ実験を重ねる必要があります。

同一対話内でA〜Dを連続実行
条件A〜Dを同じ対話の中で続けて実行したため、後の条件が前の出力の影響を受けている可能性があります。厳密に比較するなら、条件ごとに新しい対話を用意して、履歴を分離すべきでした。

生成回数が各条件1回だけ
LLMの出力にはどうしても揺らぎがあります。条件ごとに複数回生成して、平均と分散を見る必要があります。

手動集計を含む
テスト分類の集計ルールは事前に固定しましたが、期待結果の具体性や判定不能の評価には、人間の主観がどうしても入ります。複数の評価者で一致率を見たいところです。

次に試したいこと

次はこのあたりを足していきたいと考えています。

  1. 全10機能でA〜D条件を実施する
  2. 条件ごとに独立した対話を使う
  3. 各条件を複数回生成する
  4. 複数のLLMを比較する
  5. 複数評価者で採点する
  6. 仕様矛盾検査専用の条件Eを追加する

条件Eでは、正解そのものは渡さず、次のような指示だけを追加してみるつもりです。

  • 数値条件に誤りがある可能性を考慮する
  • 境界値の代替仮説を複数作る
  • 仕様間で発火不能なルールがないか確認する
  • 期待結果の根拠となる仕様箇所を明記する
  • 確証のない期待結果は「要確認」に分離する

単なる仕様の展開ではなく、仕様レビューに近い振る舞いを引き出せないか、という狙いです。

まとめ

今回のF01ログイン画面での実験では、渡す資料を増やすほど、次のあたりは素直に良くなっていきました。

  • テストケースの網羅性
  • 異常系と境界値の数
  • 状態制御の具体性
  • 期待結果の明確さ
  • 書式と記述粒度

一方で、評価用に仕込んだ隠し不備を見抜けた条件は、最後までひとつもありませんでした。

LLMにテスト仕様書を作らせるなら、設計書・テスト観点・既存例を組み合わせるのは素直に有効だと思います。ただそれは、「渡した仕様を丁寧に展開する力」を伸ばすものであって、「仕様そのものが正しいか」を保証してくれるわけではない。今回はそれを、数字を通してあらためて確認できた気がしています。

ケース数だけを見て満足せず、その期待結果がどの前提に基づいているのか、間違った仕様をそのまま正解として扱っていないか——そこは、結局のところ人が見るしかないのかもしれません。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?