「同じ内容・構成違いのExcel」を5つの生成AIに照合させてみた
TL;DR
- 同じデータを異なる構造で表した2つのExcelファイル（明細データ／集計レポート）を用意し、意図的に4箇所の不一致を仕込んだ
- Copilot・ChatGPT・Grok・Gemini・Claudeの5つに「この2つのファイルの内容は一致しているか」と尋ね、検出精度を比較した
- 結果、4箇所すべてを正確に検出できたのはClaudeのみ（コード実行によりpandasで実ファイルを読み込み再集計）。Grokは4箇所中3箇所を検出し、出題側が意図していなかった構造的な矛盾まで指摘した
- 一方で、5つ全てのAIが見逃した項目が1つあった。数値ではなく、識別子となる文字列の表記ゆれ（"On the Rocks Café" vs "On the Rocks Cafe"）
- 「照合しました」という宣言と、実際に正確な照合ができていることは別物。回答が整然としているかどうかは、検証の正確さを保証しない
きっかけ
業務でAIを使っていて、ふと気になることがあった。
「データの突き合わせ」をAIに任せたとき、その回答はどこまで信用していいのか。表計算ソフトの数式と違って、AIの回答は"それらしく"見えてしまう。本当に1セルずつ照合しているのか、それとも雰囲気で「一致しています」と言っているだけなのか、見た目では区別がつきにくい。
そこで、検証用のサンプルデータを用意し、同じ問い「この2つのファイルの内容は一致しているか」を、Copilot・ChatGPT・Grok・Gemini・Claudeの5つに投げてみた。
検証方法
検証データの設計
用意したのは、同じ実績データを異なる構成で表した2つのExcelファイル。
- 明細データ.xlsx：月×アルバム×配信プラットフォームごとの生データ（正規化された一覧形式、12行）
- 集計レポート.xlsx：月をヨコ展開したピボット形式の月次サマリー（手動集計を想定、2行）
行数・列数・レイアウトがまったく異なる、「内容は同じはずだが見た目の構造は別物」という、実務でもよくあるパターンだ（システムからの出力 vs 手動で組んだ報告書、のような関係）。
このレポート側に、わざと4つの不一致を仕込んでおいた。
検証条件
- 各ツールに、両方のファイルをアップロードし、同一のプロンプト（「この2つのファイルの内容は一致しているか確認してください」）で問いかけた
- 回答内容（検出できた不一致の数・箇所・根拠の示し方）を比較した
結果
| ツール | 検出数（4箇所中） | 特記事項 |
|---|---|---|
| Copilot | 実質0 | 検算式を提示していたが、答えは仕込んだ誤った数値と一致（後付けの疑いあり） |
| ChatGPT | 1 | 提示した比較表自体の数値にズレがあった |
| Grok | 3 | 出題側が意図していなかった構造的矛盾も指摘 |
| Gemini | 0 | ファイルの中身を見ず、一般的な照合方法のハウツーを回答 |
| Claude | 4（全て） | コード実行（pandas）で実ファイルを読み込み再集計 |
各ツールの振る舞いから見えたこと
Copilotは「検証した体」で終わっていた。 回答の中で明細データの数字を足し算する過程を見せていたが、その足し算自体の答えが、実は仕込んでおいた誤った数字と一致していた。つまり実際には計算しておらず、レポート側の数値を結論として先に置き、それに合わせて検算式を後付けした可能性が高い。
ChatGPTは部分的に正しかったが、これも危うい。 1箇所（Bar合計収益）は正確に検出できた一方、提示した比較表の「一致」欄に書かれた集計レポート側の数字が、実際のファイルの値とズレていた。見た目は整然とした表でも、土台のデータ読み取りが不正確だと、結論の信頼性は揺らぐ。
Grokは群を抜いて精度が高かった。 4箇所中3箇所を正確に検出しただけでなく、「集計レポートの合計セルは、同じ行の月別セルを単純に足した数字と一致しない」という、出題側が意図していなかった構造的な矛盾まで指摘してきた。これは実際にコードでファイルを読み込んで再検算しないと出てこない発見で、相当踏み込んだ照合をしていたことがうかがえる。
Geminiは出発点でつまずいた。 「2つのシートが一致するか確認する一般的な方法」というハウツー記事を返しただけで、渡したファイルの中身には一切触れなかった。皮肉なことに回答の最後で「行の順番がバラバラだけど内容が一致しているか調べたい、など特殊なケースなら教えてください」と書いており、まさに今回がその特殊なケースだったのだが、そこに気づかなかった。
Claudeはコード実行（pandasで実ファイルを読み込んで再集計）を介して照合した結果、4箇所すべてを正確な差分・符号付きで検出できた。 さらに「合計欄の数字自体は正しいのに、月別の内訳セルだけがズレている」という、データ入力ミスの起き方そのものへの言及もできていた。
全員が見逃した共通の盲点
精度に差はあったものの、1点だけ、5つすべてのAIが見逃した項目があった。
アルバム名の表記ゆれ："On the Rocks Café"（明細データ）と"On the Rocks Cafe"（集計レポート、アクセント抜け）。
数値の突き合わせには強くても、データを紐づける「キー」となる文字列が完全に一致しているかどうかは、誰も検証していなかった。おそらくどのツールも「2つの表の対応する行は同じアルバムだろう」と暗黙のうちに位置で対応づけてしまい、識別子そのものの一致確認という、ある意味一番基本的なチェックが抜け落ちたのだと思う。
実務のデータ突合せでは、こうした表記ゆれ（全角/半角、スペースの有無、アクセント記号、大文字小文字など）がVLOOKUPや結合処理で「データが消える」原因になりやすい。数値計算の精度が高いツールでも、ここを見落とすことがあるというのは収穫だった。
まとめ
- 「照合しました」という宣言と、実際に正確な照合ができていることは別物。自信満々な口調や整った表組みは、検証の正確さを保証しない
- 実際に計算（コード実行や数式）を介したかどうかが、結果の信頼性を大きく左右する。今回、最も精度が高かったのはコード実行を伴うClaudeと、深く踏み込んで再検算したと見られるGrokだった
- どんなに精度が高いツールでも、「当たり前すぎて疑わない部分」には盲点が残る。今回でいえば、数値ではなく識別子（アルバム名）の表記ゆれがそれだった
- 重要なデータ突き合わせをAIに任せる際は、結論だけでなく、根拠となる個別の数値や差分まで開示させ、可能であれば自分でも1〜2箇所サンプル検算するのが安全だと感じた
検証に使用したサンプルファイル（明細データ.xlsx／集計レポート.xlsx）は、架空の音楽配信実績データを模した数値です。