この記事の実施記録（2026年8月）: 「AIに自分のことを説明した文書を読ませておくと、思考傾向を踏まえた応答が得られる」という運用を続けていた私が、その文書を読んだAIに実際の購買行動を予測させ、Amazonの購買実績（書籍を除く475件・1,235,258円、2024年1月〜2026年8月）と突き合わせる実験をした（2026年8月22日実施）。結果、上位5カテゴリの的中はランダム予測(1.47/5)を上回る3/5だったが、順位まで一致したのは0/5だった。行動ログを追加すると金額配分の誤差は22%縮んだが、代わりに別の誤読が新しく生まれた。この一連の設計・実験・採点はすべてClaude Codeで進めた。
自分の考え方や興味をまとめた文書をAIに読ませておく。ChatGPTのカスタム指示、Claudeのプロジェクト設定、各種メモリ機能——名前は違っても、やっていることは同じだ。読ませれば読ませるほどAIは自分を理解してくれる、という期待がある。
その期待を、素人の感想ではなく正解データで検証してみた。
実験の設計: Amazon購買475件を「AIが作り出せない正解」にする
AIの理解度を測るには、AIが答えを知らない・作り出せない「正解」が要る。今回は Amazon の購買実績を使った。書籍を除く475件・1,235,258円（2024年1月〜2026年8月）を18カテゴリに分類したものを正解データとした。
予測役には、この購買データを一度も見たことがない別セッションのAI（使い捨てのサブエージェント）を立てた。渡す資料を3段階に変えて、情報量が増えるとAIの理解がどう変わるかを見る設計にした。
- 条件1: 人物プロファイル(行動ログを含まない版)のみ
- 条件2: 条件1 ＋ 会話履歴から作った興味マップ
- 条件3: 条件1 ＋ 行動ログ(音楽の聴取記録・書籍の購入記録)
プロファイルには当然、購買データそのものは一切書かれていない。書かれているのは「仕組み化が好き」「体験をすぐ記事にしたがる」といった、思考スタイル・仕事のやり方の記述だ。
なお実験は2回に分けて行った。条件1・条件2は「ラウンド1」(カテゴリ有無のYes/No判定)で、条件1・条件3は「ラウンド2」(金額配分の予測)で使う。「条件」は渡した資料の量、「ラウンド」は実験の版という別の軸だと先に断っておく。
最初のつまずき(ラウンド1): 「全部Yes」で75%、AIの実力は67%だった
最初にやった設計はうまくいかなかった。12カテゴリについて「2024〜2026年に購入があったか」をYes/Noで判定させたところ、条件1は40%(明確回答10問中4問)、条件2は67%(12問中8問)だった。
一見、条件2はそこそこ当てているように見える。だが正解の内訳はYes9・No3に偏っていた。つまり中身を考えず**全部Yesと答えるだけで75%**取れてしまう。AIの実力(67%)は、この何も考えない基準にすら届いていなかった。
採点方法を先に決めずに実験を始めたため、この事実に気づくまで「67%」を成果として扱いかけていた。測ろうとしていたものが、そもそも測れていなかったというのがラウンド1の結論であり、この失敗自体をラウンド2の設計(金額配分の予測+ベースラインの事前計算)に反映させた。
発見1(ラウンド2): AIの支出予測は、デスクを7倍(条件1)に、食費を半分前後に見誤った
ラウンド2では18カテゴリの金額配分そのものを予測させ、実際の配分とのズレ(絶対誤差の合計)を採点した。目立った外し方が2つの方向にはっきり出た。
| カテゴリ | 実際の配分 | 条件1の予測 | 条件3の予測 |
|---|---|---|---|
| デスク・書斎 | 2.0% | 14%(7倍) | 8%(4倍) |
| 食品・飲料(実際は全カテゴリ中最大) | 22.4% | 10% | 12% |
| 健康・トレーニング | 14.3% | 3% | 7% |
| コーヒー・酒 | 2.0% | 9% | 4% |
※Amazon購入実績(書籍を除く475件、2024年1月〜2026年8月)をキーワードマッチで18カテゴリに概算分類した数値。集計条件の詳細は後述「AIの購買行動予測、4つの限界」を参照。
方向は一貫している。知的生産・仕事まわりを過大評価し、生活の基盤(食・健康)を過小評価する。
条件1がデスク・書斎を14%と見積もった理由を確認すると、「仕組みが動いていてもPlaybookがないと落ち着かない性質から、作業環境への投資意欲が高い」というものだった。これはプロファイルに書かれていた性格の記述を、そのまま演繹した結果だ。**記述された性質から筋の通った推論をした結果、実態の7倍になった。**AIが不注意だったのではなく、記述の分量に忠実だっただけだ、と読める。
プロファイルは思考スタイル・仕事・仕組み化の記述が厚く、食事や健康の記述はほとんどない。AIは「書かれている量」を「重要度」の代理指標として使い、記述の厚い領域を過大評価し、薄い領域(実際には支出の大半を占める)を過小評価した。
発見2(ラウンド2): 上位5カテゴリは的中(3/5)でも、順位一致は0/5だった
同じラウンド2で、上位5カテゴリの的中数と、順位までの一致を別々に採点した。
| 指標 | ランダム予測の期待値 | 条件1 | 条件3 |
|---|---|---|---|
| 上位5カテゴリの的中(順不同) | 1.47/5 | 3/5 | 3/5 |
| 順位まで一致 | 0.29/5 | 0/5 | 0/5 |
上位5の的中はランダム予測を上回る(3/5 > 1.47/5)。だが順位まで一致したのは両条件とも0/5で、当てずっぽうの水準(0.29/5)にも届かなかった。「だいたい何を買っているか」の見当はつけられても、「どれが一番大きいか」という重み付けはできていなかった。
発見3(ラウンド2): 行動ログで誤差は22%改善、しかし新しい誤読が生まれた
行動ログ(音楽の聴取記録・書籍購入記録)を足した条件3は、条件1に比べて金額配分の予測誤差が22%縮んだ。事実を足せば精度が上がる、という期待どおりの結果だ。
ただし、それだけでは終わらなかった。条件3は、行動ログにあった特定の楽曲群(子ども向けアニメ映画の主題歌、7曲・累計1,066回の再生記録)から、ある人物属性を推論した(プライバシー配慮のため、推論の対象・内容はここでは一般化して書く)。この推論を支出配分の予測に反映させた結果、実際の該当カテゴリの支出は全体のわずか1.0%だったのに対し、予測は10%と、10倍の的外れだった。
原因は2つある。ひとつは、再生回数という数字が「いつ聴いたか」の情報を持たない累積値だったこと。もうひとつは、関連する購入記録自体が12年前のものだったことだ。古い事実を、現在のことのように読んでしまった、という誤り方である。
行動ログは「事実」そのものは正確だ。だがその事実から何を推論していいか(いつの話か・今も続いているか)の射程を書いていないと、事実を足したことが逆に新しい誤読を生む。精度が上がったことと、誤りが減ったことは、必ずしもイコールではなかった。
唯一の的中例(1件): ウイスキー予測で「作る対象」から「買う対象」を導けた
条件2(会話由来の興味マップを追加した条件)は、「ウイスキーを買っている」という判定を高い確信度で当てている。ただし面白いのは当たったこと自体ではない。
根拠として使われたのは、会話の中で語られていた「ウイスキー図鑑アプリを作りたい」という話題(興味マップ上のスコアで最上位クラス)だった。AIは「作ろうとしている対象」への言及から、「実際に消費している対象」を正しく推論していた。作る話から、買う話を導けた、という推論の筋道そのものが唯一の的中例であり、母数は1件しかない。これだけで「作る対象の話をすれば買う対象を推論できる」と一般化はできないが、外れ方の観察が多いなかで、当たり方の構造が見える唯一の例として記録しておく価値はある。
AIの購買行動予測、4つの限界
正解データ付きの実験だからといって、無条件に信頼できるわけではない。この実験自体にも限界がある。
- 条件1は厳密には「プロファイル単独」ではない。予測役の自己申告によると、セッション冒頭のシステムリマインダーで別の記憶情報が自動的に読み込まれていた。制約は守られたと報告されているが、渡す資料を完全に条件どおりに限定することはできなかった。サブエージェントに渡る情報を完全に制御することはできない、という制約は、同じ実験をやろうとする人が最初に踏む罠だと思う
- 予測役の出力は再現できない。使い捨てのAI・温度ありの生成なので、同じ条件で再実行しても違う数字が出る
- カテゴリ分類はキーワードマッチによる概算で、分類ロジックを変えれば正解データ自体も変わる
- 予測対象を「本以外」の購買に限定したため、読書量の多さがこの実験の予測には反映されにくい設計になっている
自分のプロファイルで同じ検証をするには、何をすればいいか？
この実験の枠組みは、自分用のAI向け自己文書を運用している人なら誰でも再現できる。手順は次の4つに集約される。
- AIが作り出せない正解データを用意する: 購買履歴・行動ログなど、自分で書いた文章ではなく外部の記録から取れる数字を使う
- 採点方法を先に固定する: 「何も考えずに答えるとどうなるか」というベースラインを、実験を始める前に計算しておく。ラウンド1のように、後から気づくと結果を過大評価しかねない
- 情報量を変えた複数条件で予測させる: 文書だけの条件と、行動ログを足した条件を両方用意すると、「何が精度を上げ、何が新しい誤りを生むか」を切り分けられる
- 外れ方の「方向」を見る: 当たった/外れたの数だけでなく、どちらの方向に外れているか(過大評価か過小評価か)を見ると、自分の文書のどこが厚くてどこが薄いかが浮かび上がる
この実験で検証したのは購買予測だけで、他の文書に同じ結果が出るかは確認していない。ただし、同じ問いは立てられる。AIに読ませる目的で書く文書全般——たとえばエージェントに役割を教えるための設定ファイルで、ある役割の記述だけが分厚くなっていないか。厚みの差がそのまま重要度の見積もりの差になっているとしたら、今回と同じ理屈が働いているはずだ。
AIは、プロファイルの記述量で重要度を判断する
「事実を渡せば渡すほど、AIは自分を理解してくれる」という期待は、半分は正しく、半分は保留が必要だとわかった。行動ログを足せば予測の誤差は縮む。だが、書かれている量が多い領域を重要だと見積もる構造そのものは、事実を足しただけでは解消しない。そして、事実を足すこと自体が、射程を誤った新しい推論を生むことがある。
だから、自分についてAIに説明する文書を書くときは、「よく書く話題」だけでなく「書いていない生活の基盤」に自覚的である必要がある。書かなければ、AIにとってそれは存在しないのと同じことになる。
関連記事
- 読書量は「意志」ではなく「構造」で決まる——Kindle購入履歴888冊が教えてくれたこと — 同じAmazon購入履歴を、読書量の観点から分析した記録
- Amazon購入履歴の取得に内部APIを叩いた。実は公式のデータリクエストで46分で届いた — 今回の正解データそのものの取得方法
- Kindleの蔵書データをAIに読ませたら、「次に読むべき本」をガイドされた話 — 同じ「AIに自分のデータを読ませる」実験の別バリエーション
この記事は はてなブログ からのクロスポストです。