連載『Claude Codeで会社を回す』#8 ── 一人会社が Claude Code で回す AI役員チームの実録。人間(@noracorn)がレビューして公開しています。
前回(#7)、Claude に金額を「計算」させるのをやめた、という話を書いた。足し算引き算は Python に投げて、Claude には判断だけさせる。集計のミスはそれで消えた。
でも、計算をやめても消えなかったものがある。Claude が、計算する前の"材料"そのものを、こっそり作り出す問題だ。今回はそれ。── 正直、一番ヒヤッとした話を書く。
2回、やられた
白状する。私の AI役員チームは、少なくとも2回、この世に存在しない数字を、さも実在するかのように出力した。
1回目。財務担当の Claude に、ある負債の返済計画を相談した。返ってきた答えに、借入残高がきれいに並んでいた。¥X,XXX,XXX、月々の返済 ¥XX,XXX。それっぽい。それっぽすぎた。で、突き合わせたら、その残高、どこにも実在しなかった。 似たような桁の、もっともらしい数字を、Claude が"埋めて"いた。
2回目。今度は経営の壁打ち中、Claude が案件の話を始めた。proj_no=NNNN、[顧客A]、受注額 ¥X,XXX,XXX。具体的だ。案件番号まで振ってある。──ない。そんな案件は受注台帳のどこにもなかった。 しかも厄介なのは、その幻の案件が、その後の私のメモに数日間そのまま生き残っていたことだ。一度それっぽい顔で出てきた数字は、こっちも疑わずに引き継いでしまう。
嘘をついている自覚は、Claude にはない。空欄を見ると、文脈に合う"ありそうな値"で埋める。自信の量は、本物の数字と一円も変わらない。 これが怖い。鮮度(#3で書いた「古い数字」)はまだマシだった。あれはデータが実在していた。今回は、データそのものが存在しない。 ゼロから生えてくる。
「気をつけて」では、直らなかった
最初の対処は、誰でもやるやつだ。プロンプトに書く。「数字は捏造するな。出典のない値を出すな。」
効かない。
冷静に考えれば当たり前だった。捏造している本人(Claude)は、自分が捏造していることに気づいていない。 本物の記憶を引いているつもりで、生成した値を出している。気づいていない相手に「気をつけて」と言っても、何に気をつければいいか分からない。鮮度の時とまったく同じ構図だ。自己検出できない弱点は、注意では塞げない。
2回目を食らった夜に、私はようやく腹をくくった。直すのは態度じゃない。手順だ。 Claude が数字を口にする"前"に、機械的なゲートを通させる。気合いではなく、構造で封じる。
封じ手1:数字を出す前に、台帳を「強制Read」させる
捏造が起きるのは、Claude が記憶(学習や会話履歴)から数字を引っ張ろうとする瞬間だ。だったら、記憶から引かせない。 数字を出す直前に、必ず正本ファイルを読みに行かせる。
各役員のペルソナに、出力前のセルフ検証を3項目、義務として埋め込んだ。
## 出力前セルフ検証(数字・案件・固有名詞を出す前に必ず)
1. 出典を明示したか
- 案件は「全件 fetch → 手元 filter」で実在確認したか
- 借入・契約などの固定値は、該当する正本メモを Read したか
2. その数字に確度記号(🔴 / 🟡 / ⚪)を付けたか
3. 自分の所掌・権限の範囲内か(越権なら専門役員へ繋ぐ)
ポイントは1番だ。「memory(記憶)にあるはず」では通さない。**「該当ファイルを今このターンで Read したか」**を条件にした。借入の話をするなら、借入の正本メモを開いてから喋れ。開かずに出した数字は、定義上ぜんぶ疑わしい。
地味だが、これが一番効いた。記憶の引き出しを、その場のファイル読み込みに置き換える。生成する隙を、手順で潰す。
封じ手2:案件は「全件取って、手元で絞る」
2回目の幻の案件は、別の罠から生まれていた。
受注台帳をAPIで「`[顧客A] の案件ある?」と検索すると、無いときに空が返る。Claude はその空白を、また"ありそうな案件"で埋めてしまう。検索の結果が0件なのか、検索し損ねたのか、生成で補ったのか──出力からは見分けがつかない。
なので、ピンポイント検索を禁止した。 代わりに、台帳を一度まるごと取得して、フィルタは手元のコードでかける。
# ❌ やめた:ピンポイント検索(0件と未取得の区別がつかない)
hit = api.search(project_no=NNNN) # 無いと空 → Claudeが埋める余地
# ✅ こうした:全件取得 → 手元フィルタで実在を確定
all_projects = api.fetch_all() # 台帳を丸ごと
target = [p for p in all_projects if p["no"] == NNNN]
assert target, f"proj_no={NNNN} は台帳に実在しない" # 無ければ即・声を上げる
fetch_all() してから手元で絞れば、「無い」は確定した無いになる。Claude が空白を埋める前に、コードが「実在しません」と先に叫ぶ。実在確認を、Claude の善意じゃなく、コードのアサーションに持たせたということだ。
封じ手3:すべての数字に「確度の印」を強制する
それでも、人間(私)が完全な台帳を毎回持っているとは限らない。試算もするし、伝聞もある。「裏取りできない数字は出すな」だと、会話が止まる。
そこで発想を変えた。裏取りできていない数字を、禁止するんじゃなく、"見える化"する。 役員が数字を出すとき、必ず確度の記号を頭に付けさせた。
🔴 確定 … 台帳・通帳・契約書など一次ソースで裏取り済み
🟡 推定 … 試算・伝聞・前提付き(「月 ¥XXX と仮定すると」)
⚪ 未確認 … 記憶頼み・出典なし(「確かそうだった気がするが未確認」)
実際の出力はこうなる。
- 今月の確定売上:🔴 ¥X,XXX,XXX(受注台帳 proj_no=NNNN で確認)
- 来月の着金見込み:🟡 ¥X,XXX,XXX(請求月+2ヶ月ラグの試算)
- 例の借入残高:⚪ 正本メモ未読のため未確認。Read してから回答します
これが効いたのは、#3 の鮮度ブロックと同じ理由だった。賢くなったのは Claude じゃなく、読む私のほうだ。 ⚪ が付いた数字は、私が勝手に身構える。🔴 だけ信じて、🟡 は割り引いて、⚪ は鵜呑みにしない。
そして副作用がよかった。確度を自分で宣言させると、Claude は ⚪ を付けるのが気まずいのか、出力前に正本を読みに行くようになった。「未確認って書くくらいなら、確認しよう」と。記号一個が、Read を促すスイッチになっていた。
それでも「直った」とは言わない
正直に書く。この3つを入れて、捏造がゼロになったとは言い切れない。 言い切れないことが、たぶん一番大事な学びだった。
捏造は、Claude が悪意でやることじゃない。空欄を、文脈で、誠実に埋めようとした結果だ。埋める能力と、作る能力は、地続きなんだと思う。だから「作るな」とは言えない。言えるのは、作った数字と、確かめた数字を、混ぜさせないことだけだ。
封じ手1で記憶じゃなくファイルを読ませ、封じ手2でコードに実在を叫ばせ、封じ手3で確度を白状させる。やっていることは全部、Claude の「自信」と「裏取り」を切り離す作業だった。本物そっくりの自信から、裏取りの有無だけを引き剥がして、表に出す。
まとめ:捏造は、注意で止めず、手順で挟む
AIに数字を任せると決めて、一番怖かったのは「計算ミス」じゃなかった。計算ミスは Python に逃がせる(#7)。古いデータは鮮度ブロックで暴ける(#3)。
最後まで残った、一番タチの悪いやつが**「実在しない数字を、本物の顔で出す」**だった。これは賢いプロンプトでも、強い言い聞かせでも止まらなかった。止まったのは、
- 数字を出す前に、正本を強制 Read させる
- 案件は全件取得→手元フィルタで、無いものは無いと確定させる
- すべての数字に確度記号を付けさせ、裏取りの有無を隠せなくする
という、3つの手順を会話の前に挟んだときだった。気合いはゼロ。全部、機械にできることだ。
2回、ありもしない数字に頷きかけた自分に言いたい。その数字、ほんとに「在る」のか? ──それを Claude に問い詰めるんじゃなく、Claude が口を開く前に、仕組みのほうから確かめさせておけ。自信は、裏取りの証明にはならない。
この記事について
連載『Claude Codeで会社を回す』Season2(数字編)の #8 です。一人会社(合同会社arecore)を Claude Code の AI役員チームで回している実録を、人間(@noracorn)がレビューして公開しています。記事中の金額・案件番号・顧客名はすべてダミーに置き換えています。
(前回 #7: Claudeに金額を"計算"させるのをやめた ※同 Season2・近日公開)
(次回 #9 は、Claude を動かす前にデータを"凍らせる"――集計の途中で元データが動くと数字がブレる、その対策の話です)
この記事について
arecore.net の中の人が運用する AI 役員チームの実践記録です。受託開発・SES・自社プロダクト開発をやっています。ご相談・フィードバックは arecore.net からどうぞ。