0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

アプリケーションのバグをMECEに潰せないと不安になった時の思考法

0
Posted at

本記事の整理は、AIとの対話をもとにしている。一般論、私の判断、今回の環境での整理は、見出しのかっこで書き分けた。

エグゼクティブサマリー

バグを漏れなく探す思考法のエグゼクティブサマリー(背景、AIと整理して分かったこと、示唆の3点)

1. 背景:ボトムアップでバグを直し続けることへの不安(今回の環境)

最近、アプリケーションを構築している。現時点で、重大なバグは出ていない。気になっているのは、通信エラーが出たときにユーザーへ伝わりづらいことの1点だけである。

それでも不安が消えなかった。理由は2つある。

  • 「ここにバグがありそう」という気づきが思い付きに頼っており、MECE(漏れなく、ダブりなく)に潰せているのか、十分なのかを判断する基準がない
  • 「品質の高いものを作る」と言われているが、「高品質」が何を指すのか、私の中で曖昧だった

AIが普及した今は、「AIがあるのになぜバグを解消できないのか」と問われる場面もあり、言葉に詰まる。

そこで、AIと対話しながら、次の2点を整理した。

  • 「品質が高い」とは何か
  • どの軸で分けて考えれば、漏れなくバグを探せるか

本記事は、その整理の記録である。

2. 前提:バグはゼロにできない(一般論)

最初に確認したのは、実務上、バグをゼロにすることは難しい、という点である。

  • フレッド・ブルックスは、論文「No Silver Bullet」(1986年)で、ソフトウェア開発には、1つの技術や管理手法だけで、10年以内に生産性・信頼性・単純さを1桁(10倍)改善するものはない、と述べた。「銀の弾丸」は、万能の解決策を指す比喩である。この論文は、『人月の神話』の20周年記念版(1995年)にも収録されている
  • エドガー・ダイクストラは、「Notes on Structured Programming」(EWD249、1969年)で、プログラムのテストはバグの存在を示せても、不在は示せない、と述べた

ブルックスの指摘は「単独の手段で信頼性が大きく上がることはない」ことを、ダイクストラの指摘は「バグがゼロであることはテストで示せない」ことを裏づける。

AIもこの例外ではなく、銀の弾丸にはならない、というのが私の判断である。AIは、コードを書く速度やテストケースを増やす速度を上げる。一方で、何を検証すべきか、何が正しい挙動かの判断は、人間側に残る。

ゼロを目標にすると、終わりがない。そのため、目標のほうを置き直す必要がある。

3. 「品質が高い」を再定義する(私の判断)

バグの数は、どれだけ探したかで変わる指標である。探せば増え、探さなければ減る。そのため、「バグが少ない」ことを品質の定義にすると、基準が定まらない。

そこで、品質を次の2つの観点で捉え直した。

観点 内容
影響(重大度・影響範囲) 重大なバグがユーザーに届く前に止まる、または届いても小さく済む
検知・復旧 起きたときに検知でき、原因を追え、元に戻せる

影響の大きいバグの例としては、サービスに登録しているユーザーの情報が漏れるものがある。

この定義にすると、バグの数ではなく、重大度と影響範囲で優先度をつけられる。さらに、バグをゼロにできない以上、想定内(事前に洗い出せるバグ)は網羅的に潰し、想定外は検知と復旧で受ける、という方針になる。「どこまでやれば十分か」の基準を持てる点が、私にとって最も大きな変化である。

4. 思考法の核:先に地図、後から精度(一般論)

品質の基準は決まった。残る問いは、「重大なバグを漏れなく探せているか」である。ここで必要になるのが、探し方の整理である。

核となる考え方は、先に粗い地図を作り、見つけたバグを地図に戻しながら、地図の精度を上げていくことである。

ボトムアップは悪くない。足りないのは地図に戻す工程

バグを見つけて直す動きは、間違っていない。足りないのは、見つけたバグが全体のどこの話なのかを、地図に反映する工程である。ここでいう地図とは、バグが起きうる領域を、分割軸(領域を区切る観点)で区切って並べた全体像のことである。

この関係を、江戸時代の伊能忠敬の測量に例えてみる(私の例え)。伝えられている話は次のとおりである。

  • 歩幅を約69cmに体で覚え込み、歩いて距離を測った
  • 坂道などで歩測が狂いやすい所では、間縄などの道具を使うようになった
  • 富士山のような動かない目標を各地から測って誤差を調整し、夜間の天体観測でも誤差を減らそうとした

一歩ずつの測定だけに頼らず、外部の基準で補正している点が、今回の話と重なる。また、測定結果を地図に反映するほど地図の精度が上がる点は、発見したバグを地図に戻すほど、地図の精度が上がることと重なる。バグ探しに置き換えると、次のようになる。

測量 バグ探し
一歩ずつの歩測 バグを見つけて直す
動かない目標点での補正 仕様書や評価データ(正解付きのテストデータ)での検証
全体の地図 分割軸で作る全体像

先に分割軸を決める

MECEかどうかは、何で切るかで決まる。バグ探しで使いやすい軸は次のとおりである。

  • データの流れ:入力、検証、処理、永続化、外部連携、出力、画面表示
  • レイヤー:フロント、API、ビジネスロジック、DB、インフラ、外部サービス
  • 失敗の種類(原因):入力、状態、依存先、環境、運用

このほかに、ユーザーの一連の操作で切る見方(ユーザージャーニー、第5章)と、失敗の現れ方で切る見方(第6章)も使う。

2軸を掛け合わせて空白を見る

軸を2つ掛け合わせて表にすると、空白のマスが「まだ考えていない領域」として見える。以下は、レイヤーの6行のうち3行だけを示した一例である。この例ではすべてのマスに書き込んだが、実際に作ると、書けないマスが空白として残る。

レイヤー\失敗の種類 入力 状態 依存先 環境 運用
フロント 想定外の入力値 二重送信 API失敗時の表示 ブラウザ差 配信手順
API 型、境界値 同時実行 タイムアウト 設定差 デプロイ手順
外部サービス 想定外のレスポンス形式 リトライ時の二重実行 5xx、レート制限 権限、バージョン差 障害時の連絡

軸どうしが完全に独立していなくても(たとえば「依存先」と「外部サービス」は意味が重なる)、空白を見つける道具としては十分に機能する。

入力まわりは、テスト設計の技法がそのままMECEの道具になる。

  • 同値分割、境界値分析
  • デシジョンテーブル
  • 状態遷移図

5. 分割の単位をどう決めるか(私の判断)

地図を作るときは、1マスをどの単位で切るかを決める必要がある。機能ごと、ページごと、レイヤーごとなど、候補は複数ある。単位の決め方は、次の3点で考えている。

  • 主軸はアーキテクチャ(第4章のレイヤー)に揃える。設計の単位と確認の単位が一致し、地図を維持しやすい
  • 副軸はユーザージャーニー(ユーザーの一連の操作)で見る。ユーザー体験は機能をまたぐため、機能単位だけでは抜けが見えない。通信エラーが伝わりにくい件は、この副軸で見つかりやすい種類のバグ(第6章の体験型)である
  • 粗く始めて、重大な所から細分化する。最初から細かく切ると、地図の維持が重荷になって続かない

単位は後で変えてよい。変えた場合は、理由も記録しておく。

6. 適用例:空白のマスを探す(今回の環境)

本章の内容は、AIとの対話で整理した段階であり、実際のアプリケーションでの確認は、これから行う。

失敗の現れ方で切る

第4章では、失敗を原因の側(入力、状態、依存先など)で切った。ここでは、現れ方の側で切る。例外が出ないまま誤った結果を返すバグは、気づきにくく、厄介である。現れ方は、次の4つの型に分けられる。

現れ方の型 例 見つける手段
例外型 落ちる、タイムアウトする 監視、ログ
品質型 必要なデータを取得できていない、取得したのに使われていない、根拠のない結果 評価データ(正解付きのテストデータ)
鮮度型 保存したデータが元データとずれる、古いデータが残る 評価データ、元データとの突合
体験型 失敗を検知できているのに、ユーザーへ伝わらない ユーザージャーニーの確認

例外型は監視で拾えるが、品質型と鮮度型は評価データで測らないと見えない、と考えている。今回気になっていた通信エラーは、エラーそのものは例外型だが、ユーザーに伝わりにくい点が体験型に当たる。

通信エラーが伝わりにくい件を、地図に戻す

第4章の表では、フロント×依存先(API失敗時の表示)のマスが、この通信エラーに当たる。

エラー表示のように、機能をまたぐ関心事(横断的関心事)は抜けやすい。たとえばFeature-based(機能ごとにコードをまとめる)の構成では、各機能が自分のエラー処理を持ちやすく、エラー表示の一貫性が崩れやすい(一般的な傾向)。

そこで、エラー対応を、検知から記録までの一連の流れで分けて考える。

段階 問い
検知 失敗に気づけるか(タイムアウト、5xx、ストリーム途中の切断)
分類 原因を区別できるか(ユーザー起因、一時的、恒久的、システム側)
提示 ユーザーに何が伝わるか
回復 再試行できるか、自動で戻るか
記録 後から追えるか

今回の「伝わりづらい」は、分類と提示の段階が抜けているとみられる。分類を数個に絞り、メッセージと対応を1対1で決めておけば、全機能で使い回せる。

コードから起こした仕様書の盲点

第4章では、仕様書を外部の基準の1つとして挙げた。ただし、仕様書をコードから起こしている場合は、基準そのものにコードの抜けが写る。コードから起こした仕様書は、「今こう動いている」ことを示すもので、「こう動くべき」ことは示さないためである。

対策として、次の方法を考えている。

  • 仕様書に、失敗時の期待挙動の欄を、意図として別に書く
  • 失敗の型ごとに、ユーザーへ見せる内容と再試行の可否を決める
  • 期待挙動の欄と、コードから起こした内容を見比べ、差分を抜けの一覧として扱う

7. 得られた示唆(私の判断)

整理して見えたのは、不安の原因が、バグの多さそのものではなく、基準と地図がなかったことにある、という点である。

  • 基準:品質を、重大度と、検知・復旧で捉える
  • 地図:分割軸で全体像を作り、発見したバグは、どのマスの話かを地図に戻す

これにより、「AIがあるのになぜ」と問われたときも、次のように説明できる状態を目指す。

バグゼロは証明できない。ただし、レイヤーと失敗の種類で地図を持ち、空白を定期的に確認している。想定外は、検知と復旧の速さで受ける。

AIの使いどころは、空白マスの候補出し、テストケースの量産、別視点でのレビューである。

8. まとめ

  • バグはゼロにできない。品質は、数ではなく重大度と、検知・復旧で捉える
  • 想定内のバグは網羅的に潰し、想定外のバグは検知と復旧で受ける。対処の優先度は、重大度と影響範囲で決める
  • 先に分割軸で地図を作り、発見したバグを地図に戻す。地図の空白は、定期的に確認する

「十分」の基準が曖昧なまま頑張っても、不安は消えない。基準を言葉にして残すことで、不安を扱える形にできると考えている。

参考

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?