0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Claude Opus 5でも「見ていない」を「存在しない」と誤診する

0
Posted at

はじめに

私は、メモアプリのObsidianに残した日次ログと、Garminから取得した睡眠データを使い、AIコーディングエージェントのClaude Codeに週次レビューを作らせています。
2026年8月3日にClaude Opus 5へ実行させたレビューで、AIは二つの判断を誤りました。

一つ目は、日次ログに就寝時刻の欄がないため、「目標を達成できたか判断できない」としたことです。
二つ目は、生活サイクルの記録に外構業者への回答記録がなかったため、「外構業者への回答は終わっていない」としたことです。

レビューの直後に私が確認すると、Garminには7日分の就寝時刻がありました。
家づくりの記録にも、外構業者へ回答した日付と内容が残っていました。
AIは、確認していない場所にも情報がないとみなし、誤った判断をしていたのです。

そこで、必要なファイルを読んだ実行履歴を別のプログラムで確認する方法を、Claude SonnetとClaude Haikuで48回試しました。
期待した答えと一致する割合は上がりませんでしたが、必要な資料を読まずに「作業終了」と答えた回数は7件から1件へ減りました。
この48試行では、正答率を上げる方法というより、証拠のない終了を止める安全装置として働きました。

この記事は二部構成の前編です。
前編では、二つの事例、既存の科学を参考にした対策、実行履歴を確認した48試行の結果を扱います。
後編では、今回の考え方を、AIに作業手順を与えるAgent Skillへ落とし込む予定です。

対象読者

  • 複数のファイルや外部サービスを使い、AIに週次レポートや進捗報告を作らせている人
  • AIエージェントに「作業が終わった」「記録がない」「これが原因だ」といった判断を、より正確に行わせたい人

この記事で分かること

  • 「まだ確認していない」と「確認したが存在しない」を分ける方法
  • 必要な資料を読んだ実行履歴を、AIとは別の処理で確認する方法
  • 実行履歴から確認できる範囲と、判断の正しさまでは保証できない理由

週次レビューで起きた二つの誤判断

日次ログだけを見た判断の連鎖

週次レビューは、日次ログに就寝時刻を記入する欄がないことを理由に、目標を達成できたか判定できないとしました。
同じ前提から、空欄の2日分を実績なしとして集計し、目標を達成できなかった理由も「記録がないため」と説明しました。

しかし、この週次レビューには、Garminからデータを取得するMCPがあらかじめ設定されていました。
MCPは、AIが外部のデータや機能を使うための仕組みです。

Garmin MCPのsleep_startを使えば、7日分すべての就寝時刻を取得できる状態でした。
日次ログが空欄だった2日についても、Garminには値がありました。

日次ログに欄がないことは、判定に使えるデータがないことを意味しません。
それでもAIは、Garminを確認しないまま「判定できない」と判断しました。
その誤りが、「空欄の日は実績なし」「未達の原因は記録不足」という説明にも広がっていました。

指定された場所だけを見た未完了判定

もう一つは、家の外まわりの工事を依頼していた業者への回答が終わっているかどうかです。
週次レビューは、生活サイクルの記録だけを見て、この回答を未完了としました。

しかし、家づくりの記録を保存しているhouse/には、2026年8月2日に見積書と図面の内容で進めると回答し、申請手続きを依頼した記録がありました。

生活サイクルの記録が唯一の保存場所だと確認せず、そこだけを探したことが誤判断につながりました。
もし本当にその場所だけを調べる契約だとしても、確認できるのは「その場所に記録がない」ことまでです。
作業全体が未完了だとは判断できません。

二つの誤判断に共通していたこと

就寝時刻のケースでは、Garminを見ないまま原因まで説明していました。
外構のケースでは、house/を見ないまま未完了と判断していました。
見落とした場所は異なりますが、どちらも未確認の範囲まで「情報がない」と扱っています。

二つのケースを、AIが見た資料、AIの判断、見落とした資料に分けると、次のようになります。

AIは日次ログと生活サイクルの記録だけを見て判定不能と未完了を判断したが、未確認のGarminとhouseには必要な記録があった

日次ログに値がないことは、Garminにも値がないことを意味しません。
あるフォルダに完了記録がないことも、ほかのフォルダにも記録がない証拠にはなりません。

「未確認」と「存在しない」を区別する

この混同を防ぐには、情報が見つからない理由を分けて記録します。
ここでは便宜上、次の5つの状態に分けます。

状態 意味 AIが出してよい結論
not_fetched 必要なデータをまだ取得していない 不明。存在しないとは書かない
unavailable 権限やツールのエラーで取得できない 不明。取得できなかった理由を書く
out_of_scope 調べると決めた範囲に入っていない 調べる範囲を広げるか、判断を保留する
not_recorded 今見ている記録には書かれていない 判断の基準にするデータを確認する
confirmed_absent 必要な範囲を調べても見つからなかった 調べた範囲に限り、存在しないと書ける

not_recordedとconfirmed_absentは別の状態です。
「今見ている記録にない」を「どこにも存在しない」とみなさないことが、最低限の対策です。

判断の基準にするデータは、目的や更新方法によって変わります。
たとえば、センサーの誤りを日次ログで直す運用なら、常にGarminを優先すべきとは限りません。
今回の就寝時刻では、Garminのデータを判断の基準にしていました。

似た失敗についての報告

この記事の事例とまったく同じ条件ではありませんが、必要な調査を終える前に強い判断を出す失敗は、ほかの研究や報告にもあります。

  • AgentGym2は、AIエージェントの失敗の一つとして、必要な調査が足りないケースを報告しています。
  • GTAは、Web上で作業するAIが必要なページを開かず、一部の情報だけで作業を終える失敗を報告しています。
  • AnalysisBenchは、AI自身が「成功した」と判断した割合と、人が成果物を確認した成功率に差が出る場合があると報告しています。
  • Claude Code Issue #81218には、Opus 5が未確認のファイル内容や原因を断定し、あとで確認すると誤りだったという利用者の報告があります。

これらは、この記事の週次レビューと同じ実験ではありません。
それでも、必要な情報を調べないまま判断する問題が、この週次レビューだけの特殊な出来事ではないことは分かります。

既存の科学から判断条件を考える

二つのケースでは、見つけた情報だけで説明を作り、ほかの情報を確認せずに判断していました。
この失敗への対策を考えるために、医療診断と、コンピュータが知識を表す方法を参考にします。

早すぎる探索の打ち切り

医療診断では、最初のもっともらしい診断にたどり着いたあと、ほかの可能性を調べるのを早くやめてしまう失敗があります。
この失敗を、早すぎる探索の打ち切り(premature closure)と呼びます。

診断エラー事例の分析でも、この失敗が扱われています。

週次レビューを作ったAIも、一部の情報から説明を作れたところで、ほかの場所を調べるのをやめました。
「説明が作れた」だけでは調査を終えず、現在の判断と食い違う可能性のあるデータを確認する必要があります。
そのデータをまだ確認していないなら、判断を確定させない、ということです。

この考え方は、人間とAIの内部が同じように働くという説明には使いません。
AIに追加の確認を求める条件を考えるために使います。

オープンワールド仮定

今ある情報に書かれていないことは、情報の不足を示しているだけかもしれません。
W3CのOWL 2 Primerは、この扱いをオープンワールド仮定(open-world assumption)として説明しています。

この考え方は、AIの出力ルールを作るときに参考にできます。
ファイルやAPIを一部しか見ていないなら、「存在しない」ではなく「まだ分からない」と返すようにします。
「確認したが存在しない」と答えるには、どこまで調べるかを先に決め、その範囲を実際に調べる必要があります。

医療データ交換の標準「HL7 FHIR」にあるDataAbsentReasonも、値がない理由を「不明」「未実施」「エラー」などに分けています。
値がない理由を一つにまとめない点が参考になります。

注意を促すだけの対策

医療現場では、診断時の確認項目を一覧にした「診断チェックリスト」を、見落としの防止に使うことがあります。

複数の研究結果をまとめた系統的レビューでは、診断の正しさが改善した研究と、改善しなかった研究の両方がありました。
「もう一度、注意深く考える」と促しても、効果が見られなかった比較試験もあります。

単に「もう一度考えて」と伝えても、必ず正しくなるわけではありません。
そこで今回は、「どの資料を読んだか」を実行履歴から確認する方法を試しました。

AIが出した判断をそのまま採用せず、必要な資料を確認した記録があるかを別のプログラムで確かめます。
記録が足りなければ、その判断を採用しません。
この記事では、この確認処理を外部検証と呼びます。

Claude Opus 5の公式プロンプトガイドも、通常の作業に何度も見直す指示を加えると、確認しすぎて時間と費用が増える場合があると説明しています。
損失の大きい判断にだけ必要な確認を付ければ、すべての回答を何度も考え直させる場合より、時間と費用を抑えやすくなります。

実行履歴を使った外部検証を評価する

元の事例には、「記録がない」「これが原因だ」「作業が終わった」という三種類の判断がありました。
今回は、このうち実行履歴から確認しやすい「作業終了」だけをテストします。

評価対象

AIへの指示に「必要な資料を確認すること」と書くだけで、資料を読まないまま作業を終了する失敗を止められるか確認しました。

評価には、生活ログと関係のないテスト用リポジトリを使いました。
進捗をまとめるAIの指示には、「元の資料を読み、複数の保存場所を探し、確認できていないときは作業を終えない」と書きました。

評価の主な目的は、必要な資料を読まずに出された「作業終了」という判断を、実行履歴から見つけて止められるか確かめることです。
あわせて、最終的な判断が期待した答えと一致したかも確認しました。

テスト用リポジトリには、次の4種類の状態を用意しました。

テスト用リポジトリの状態 期待する判断
作業が正しく完了している 作業終了
失敗したテスト結果が別の場所に埋もれている 作業を続ける
完了記録が別の場所にある 作業終了
進捗メモと実際のテスト結果が食い違う 作業を続ける

比較方法

比較したのは、次の二つの方法です。
どちらも最初の依頼文、Agent Skill、テスト用リポジトリは同じです。

Claude Codeがファイルを開くと、実行履歴にRead操作として記録されます。
外部検証ありの方法では、この記録をAIとは別のプログラムで確認します。

方法 何をするか 必要な資料を読んでいない場合
指示だけ 元の資料を確認し、複数の場所を探すようAIへ伝える AIの最初の判断をそのまま採用する
外部検証あり 別のプログラムが、必要なファイルへのRead操作を実行履歴から調べる 「作業終了」を採用せず、未確認のファイルを示して1回だけやり直す。それでも足りなければ拒否する

外部検証では、AIが答えを作る処理と、その答えを採用する処理を分けます。

AIの出力後、別プログラムが必須資料のRead履歴を確認し、不足していればcompleteを拒否して一度だけ再実行する流れ

実行条件

この仕組みを作った直後の予備テストでは、指示だけの判断は6/8、外部検証ありの判断は8/8で期待した答えと一致しました。
この結果だけを見ると、外部検証で正しい判断が増えたように見えます。

しかし、一つの方法につき8回では、偶然の可能性を否定できません。
そこで、結果を見る前に判定方法を決め、Claude SonnetとClaude Haikuのそれぞれで、4種類の状態を3回ずつ試しました。
指示だけを24回、外部検証ありを24回、合計48回です。

実行日は2026年8月15日から16日です。
実際に使用されたモデルはclaude-sonnet-5とclaude-haiku-4-5-20251001で、どちらもeffortはhighでした。

反復テストの結果

確認した項目 指示だけ 外部検証あり
期待した答えと一致した判断 23/24(95.8%) 22/24(91.7%)
必要な資料を読まずに「作業終了」と答えた回数 7件 1件
本当は続けるべき作業を終了した回数 1件 0件
必要な資料をすべて読んだ実行 17/24(70.8%) 21/24(87.5%)
実行費用 2.67ドル 3.45ドル

期待した答えと一致した割合の差は、マイナス4.2ポイントでした。
差の不確かさを表す95%信頼区間は、マイナス22.0ポイントからプラス13.0ポイントです。
この範囲には差がない場合も含まれるため、「今後も正しい判断が増える」とは判断できませんでした。

一方で、必要な資料を読まずに「作業終了」と答えた回数は、7件から1件へ減りました。
外部検証ありの24回では、11回で読み忘れを検出し、AIへ再確認を求めています。
そのうち1回は、やり直したあとも必要な資料を読み切らなかったため、「作業終了」を拒否しました。

ただし、確認を厳しくした分、完了している作業を「まだ終わっていない」とした判断もありました。
正しい答えを増やすことと、証拠のない終了を止めることは、同じではありません。
この外部検証は、正答率を上げる仕組みというより、根拠が足りないまま作業を終えるのを防ぐ安全装置として働きました。

外部検証が向く作業

すべてのAI出力に外部検証を付ける必要はありません。
文章の言い換えやアイデア出しのように、間違えてもすぐ直せる作業には、確認にかかる時間や費用が見合わないことがあります。

外部検証を付けるかは、二つの損失を比べて決めます。
一つは、未完了の作業を誤って終了する損失です。
もう一つは、完了済みの作業を保留する損失です。

前者が大きく、後者をあとから直せる場合は、安全装置を付ける意味があります。
反対に、保留によって仕事が止まる損失の方が大きいなら、この方法をそのまま使うべきではありません。
今回の反復テストでは、外部検証ありの実行費用が約29%増えました。

この仕組みの利用先として考えやすいのは、AIの完了報告を受けて次の行動へ進む場面です。

  • テストが成功したという記録を確認して、作業を終える
  • 必須資料がそろったことを確認して、レポートを確定する
  • CI結果や未解決のレビューコメントを確認して、マージへ進む

すべてのAgent Skillへ大きな確認機能を組み込む必要もありません。
重要な判断を採用する直前に、必要な記録があるかを確かめる小さな処理を共通化します。
各Skillには、少なくとも次の三つを指定します。

  • 対象にする判断
  • 判断に必要な証拠
  • 証拠が足りない場合の扱い

今回の評価で分からないこと

Read操作の履歴から分かるのは、AIがファイルを開いたことまでです。
AIが内容を正しく理解し、適切に判断したことまでは保証できません。

外部検証ありの方法では、未確認のファイル名をAIに示し、再実行後もRead履歴が足りなければ「作業終了」を拒否しました。
この評価では、ファイル名を具体的に示す効果と、履歴がない判断を拒否する効果を分けて測っていません。

「記録が存在しない」や「これが原因だ」という判断も、今回のテスト対象ではありません。
これらを検証するには、どこまで探すか、どのデータを比較するかを別に決める必要があります。

この評価は、SonnetとHaikuの優劣を比べるものではありません。
Opus 5で起きた週次レビューの誤りが何%減るかも測っていません。
確認できたのは、固定した二つのモデル、指示、作業手順、4種類のテスト用リポジトリに限った結果です。

まとめ

週次レビューで起きた誤判断は、AIが一部の資料だけを見て、未確認の範囲まで「情報がない」と扱ったことで発生しました。

この記事の要点は、次の三つです。

  • 「まだ確認していない」と「確認したが存在しない」を分け、必要な範囲を調べるまでは判断を確定させない
  • Read履歴を別のプログラムで確認すると、正しい判断の割合は上がらなかったが、証拠のない「作業終了」は7件から1件へ減った
  • 外部検証は、誤って終了する損失と、正しい終了を保留する損失を比べて、重要な判断にだけ付ける

次は、この考え方を実務で使えるAgent Skillにできるか検討します。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?