本記事の整理は、AIとの対話をもとにしている。一般論、私の判断、今回の環境での整理は、見出しのかっこで書き分けた。
エグゼクティブサマリー
1. 背景:ボトムアップでバグを直し続けることへの不安(今回の環境)
最近、アプリケーションを構築している。現時点で、重大なバグは出ていない。気になっているのは、通信エラーが出たときにユーザーへ伝わりづらいことの1点だけである。
それでも不安が消えなかった。理由は2つある。
- 「ここにバグがありそう」という気づきが思い付きに頼っており、MECE(漏れなく、ダブりなく)に潰せているのか、十分なのかを判断する基準がない
- 「品質の高いものを作る」と言われているが、「高品質」が何を指すのか、私の中で曖昧だった
AIが普及した今は、「AIがあるのになぜバグを解消できないのか」と問われる場面もあり、言葉に詰まる。
そこで、AIと対話しながら、次の2点を整理した。
- 「品質が高い」とは何か
- どの軸で分けて考えれば、漏れなくバグを探せるか
本記事は、その整理の記録である。
2. 前提:バグはゼロにできない(一般論)
最初に確認したのは、実務上、バグをゼロにすることは難しい、という点である。
- フレッド・ブルックスは、論文「No Silver Bullet」(1986年)で、ソフトウェア開発には、1つの技術や管理手法だけで、10年以内に生産性・信頼性・単純さを1桁(10倍)改善するものはない、と述べた。「銀の弾丸」は、万能の解決策を指す比喩である。この論文は、『人月の神話』の20周年記念版(1995年)にも収録されている
- エドガー・ダイクストラは、「Notes on Structured Programming」(EWD249、1969年)で、プログラムのテストはバグの存在を示せても、不在は示せない、と述べた
ブルックスの指摘は「単独の手段で信頼性が大きく上がることはない」ことを、ダイクストラの指摘は「バグがゼロであることはテストで示せない」ことを裏づける。
AIもこの例外ではなく、銀の弾丸にはならない、というのが私の判断である。AIは、コードを書く速度やテストケースを増やす速度を上げる。一方で、何を検証すべきか、何が正しい挙動かの判断は、人間側に残る。
ゼロを目標にすると、終わりがない。そのため、目標のほうを置き直す必要がある。
3. 「品質が高い」を再定義する(私の判断)
バグの数は、どれだけ探したかで変わる指標である。探せば増え、探さなければ減る。そのため、「バグが少ない」ことを品質の定義にすると、基準が定まらない。
そこで、品質を次の2つの観点で捉え直した。
| 観点 | 内容 |
|---|---|
| 影響(重大度・影響範囲) | 重大なバグがユーザーに届く前に止まる、または届いても小さく済む |
| 検知・復旧 | 起きたときに検知でき、原因を追え、元に戻せる |
影響の大きいバグの例としては、サービスに登録しているユーザーの情報が漏れるものがある。
この定義にすると、バグの数ではなく、重大度と影響範囲で優先度をつけられる。さらに、バグをゼロにできない以上、想定内(事前に洗い出せるバグ)は網羅的に潰し、想定外は検知と復旧で受ける、という方針になる。「どこまでやれば十分か」の基準を持てる点が、私にとって最も大きな変化である。
4. 思考法の核:先に地図、後から精度(一般論)
品質の基準は決まった。残る問いは、「重大なバグを漏れなく探せているか」である。ここで必要になるのが、探し方の整理である。
核となる考え方は、先に粗い地図を作り、見つけたバグを地図に戻しながら、地図の精度を上げていくことである。
ボトムアップは悪くない。足りないのは地図に戻す工程
バグを見つけて直す動きは、間違っていない。足りないのは、見つけたバグが全体のどこの話なのかを、地図に反映する工程である。ここでいう地図とは、バグが起きうる領域を、分割軸(領域を区切る観点)で区切って並べた全体像のことである。
この関係を、江戸時代の伊能忠敬の測量に例えてみる(私の例え)。伝えられている話は次のとおりである。
- 歩幅を約69cmに体で覚え込み、歩いて距離を測った
- 坂道などで歩測が狂いやすい所では、間縄などの道具を使うようになった
- 富士山のような動かない目標を各地から測って誤差を調整し、夜間の天体観測でも誤差を減らそうとした
一歩ずつの測定だけに頼らず、外部の基準で補正している点が、今回の話と重なる。また、測定結果を地図に反映するほど地図の精度が上がる点は、発見したバグを地図に戻すほど、地図の精度が上がることと重なる。バグ探しに置き換えると、次のようになる。
| 測量 | バグ探し |
|---|---|
| 一歩ずつの歩測 | バグを見つけて直す |
| 動かない目標点での補正 | 仕様書や評価データ(正解付きのテストデータ)での検証 |
| 全体の地図 | 分割軸で作る全体像 |
先に分割軸を決める
MECEかどうかは、何で切るかで決まる。バグ探しで使いやすい軸は次のとおりである。
- データの流れ:入力、検証、処理、永続化、外部連携、出力、画面表示
- レイヤー:フロント、API、ビジネスロジック、DB、インフラ、外部サービス
- 失敗の種類(原因):入力、状態、依存先、環境、運用
このほかに、ユーザーの一連の操作で切る見方(ユーザージャーニー、第5章)と、失敗の現れ方で切る見方(第6章)も使う。
2軸を掛け合わせて空白を見る
軸を2つ掛け合わせて表にすると、空白のマスが「まだ考えていない領域」として見える。以下は、レイヤーの6行のうち3行だけを示した一例である。この例ではすべてのマスに書き込んだが、実際に作ると、書けないマスが空白として残る。
| レイヤー\失敗の種類 | 入力 | 状態 | 依存先 | 環境 | 運用 |
|---|---|---|---|---|---|
| フロント | 想定外の入力値 | 二重送信 | API失敗時の表示 | ブラウザ差 | 配信手順 |
| API | 型、境界値 | 同時実行 | タイムアウト | 設定差 | デプロイ手順 |
| 外部サービス | 想定外のレスポンス形式 | リトライ時の二重実行 | 5xx、レート制限 | 権限、バージョン差 | 障害時の連絡 |
軸どうしが完全に独立していなくても(たとえば「依存先」と「外部サービス」は意味が重なる)、空白を見つける道具としては十分に機能する。
入力まわりは、テスト設計の技法がそのままMECEの道具になる。
- 同値分割、境界値分析
- デシジョンテーブル
- 状態遷移図
5. 分割の単位をどう決めるか(私の判断)
地図を作るときは、1マスをどの単位で切るかを決める必要がある。機能ごと、ページごと、レイヤーごとなど、候補は複数ある。単位の決め方は、次の3点で考えている。
- 主軸はアーキテクチャ(第4章のレイヤー)に揃える。設計の単位と確認の単位が一致し、地図を維持しやすい
- 副軸はユーザージャーニー(ユーザーの一連の操作)で見る。ユーザー体験は機能をまたぐため、機能単位だけでは抜けが見えない。通信エラーが伝わりにくい件は、この副軸で見つかりやすい種類のバグ(第6章の体験型)である
- 粗く始めて、重大な所から細分化する。最初から細かく切ると、地図の維持が重荷になって続かない
単位は後で変えてよい。変えた場合は、理由も記録しておく。
6. 適用例:空白のマスを探す(今回の環境)
本章の内容は、AIとの対話で整理した段階であり、実際のアプリケーションでの確認は、これから行う。
失敗の現れ方で切る
第4章では、失敗を原因の側(入力、状態、依存先など)で切った。ここでは、現れ方の側で切る。例外が出ないまま誤った結果を返すバグは、気づきにくく、厄介である。現れ方は、次の4つの型に分けられる。
| 現れ方の型 | 例 | 見つける手段 |
|---|---|---|
| 例外型 | 落ちる、タイムアウトする | 監視、ログ |
| 品質型 | 必要なデータを取得できていない、取得したのに使われていない、根拠のない結果 | 評価データ(正解付きのテストデータ) |
| 鮮度型 | 保存したデータが元データとずれる、古いデータが残る | 評価データ、元データとの突合 |
| 体験型 | 失敗を検知できているのに、ユーザーへ伝わらない | ユーザージャーニーの確認 |
例外型は監視で拾えるが、品質型と鮮度型は評価データで測らないと見えない、と考えている。今回気になっていた通信エラーは、エラーそのものは例外型だが、ユーザーに伝わりにくい点が体験型に当たる。
通信エラーが伝わりにくい件を、地図に戻す
第4章の表では、フロント×依存先(API失敗時の表示)のマスが、この通信エラーに当たる。
エラー表示のように、機能をまたぐ関心事(横断的関心事)は抜けやすい。たとえばFeature-based(機能ごとにコードをまとめる)の構成では、各機能が自分のエラー処理を持ちやすく、エラー表示の一貫性が崩れやすい(一般的な傾向)。
そこで、エラー対応を、検知から記録までの一連の流れで分けて考える。
| 段階 | 問い |
|---|---|
| 検知 | 失敗に気づけるか(タイムアウト、5xx、ストリーム途中の切断) |
| 分類 | 原因を区別できるか(ユーザー起因、一時的、恒久的、システム側) |
| 提示 | ユーザーに何が伝わるか |
| 回復 | 再試行できるか、自動で戻るか |
| 記録 | 後から追えるか |
今回の「伝わりづらい」は、分類と提示の段階が抜けているとみられる。分類を数個に絞り、メッセージと対応を1対1で決めておけば、全機能で使い回せる。
コードから起こした仕様書の盲点
第4章では、仕様書を外部の基準の1つとして挙げた。ただし、仕様書をコードから起こしている場合は、基準そのものにコードの抜けが写る。コードから起こした仕様書は、「今こう動いている」ことを示すもので、「こう動くべき」ことは示さないためである。
対策として、次の方法を考えている。
- 仕様書に、失敗時の期待挙動の欄を、意図として別に書く
- 失敗の型ごとに、ユーザーへ見せる内容と再試行の可否を決める
- 期待挙動の欄と、コードから起こした内容を見比べ、差分を抜けの一覧として扱う
7. 得られた示唆(私の判断)
整理して見えたのは、不安の原因が、バグの多さそのものではなく、基準と地図がなかったことにある、という点である。
- 基準:品質を、重大度と、検知・復旧で捉える
- 地図:分割軸で全体像を作り、発見したバグは、どのマスの話かを地図に戻す
これにより、「AIがあるのになぜ」と問われたときも、次のように説明できる状態を目指す。
バグゼロは証明できない。ただし、レイヤーと失敗の種類で地図を持ち、空白を定期的に確認している。想定外は、検知と復旧の速さで受ける。
AIの使いどころは、空白マスの候補出し、テストケースの量産、別視点でのレビューである。
8. まとめ
- バグはゼロにできない。品質は、数ではなく重大度と、検知・復旧で捉える
- 想定内のバグは網羅的に潰し、想定外のバグは検知と復旧で受ける。対処の優先度は、重大度と影響範囲で決める
- 先に分割軸で地図を作り、発見したバグを地図に戻す。地図の空白は、定期的に確認する
「十分」の基準が曖昧なまま頑張っても、不安は消えない。基準を言葉にして残すことで、不安を扱える形にできると考えている。
