0
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

【Claude Codeで会社を回す #8】Claudeは2回、ありもしない数字を作った

0
Posted at

連載『Claude Codeで会社を回す』#8 ── 一人会社が Claude Code で回す AI役員チームの実録。人間(@noracorn)がレビューして公開しています。

前回(#7)、Claude に金額を「計算」させるのをやめた、という話を書いた。足し算引き算は Python に投げて、Claude には判断だけさせる。集計のミスはそれで消えた。

でも、計算をやめても消えなかったものがある。Claude が、計算する前の"材料"そのものを、こっそり作り出す問題だ。今回はそれ。── 正直、一番ヒヤッとした話を書く。

2回、やられた

白状する。私の AI役員チームは、少なくとも2回、この世に存在しない数字を、さも実在するかのように出力した。

1回目。財務担当の Claude に、ある負債の返済計画を相談した。返ってきた答えに、借入残高がきれいに並んでいた。¥X,XXX,XXX、月々の返済 ¥XX,XXX。それっぽい。それっぽすぎた。で、突き合わせたら、その残高、どこにも実在しなかった。 似たような桁の、もっともらしい数字を、Claude が"埋めて"いた。

2回目。今度は経営の壁打ち中、Claude が案件の話を始めた。proj_no=NNNN、[顧客A]、受注額 ¥X,XXX,XXX。具体的だ。案件番号まで振ってある。──ない。そんな案件は受注台帳のどこにもなかった。 しかも厄介なのは、その幻の案件が、その後の私のメモに数日間そのまま生き残っていたことだ。一度それっぽい顔で出てきた数字は、こっちも疑わずに引き継いでしまう。

嘘をついている自覚は、Claude にはない。空欄を見ると、文脈に合う"ありそうな値"で埋める。自信の量は、本物の数字と一円も変わらない。 これが怖い。鮮度(#3で書いた「古い数字」)はまだマシだった。あれはデータが実在していた。今回は、データそのものが存在しない。 ゼロから生えてくる。

「気をつけて」では、直らなかった

最初の対処は、誰でもやるやつだ。プロンプトに書く。「数字は捏造するな。出典のない値を出すな。」

効かない。

冷静に考えれば当たり前だった。捏造している本人(Claude)は、自分が捏造していることに気づいていない。 本物の記憶を引いているつもりで、生成した値を出している。気づいていない相手に「気をつけて」と言っても、何に気をつければいいか分からない。鮮度の時とまったく同じ構図だ。自己検出できない弱点は、注意では塞げない。

2回目を食らった夜に、私はようやく腹をくくった。直すのは態度じゃない。手順だ。 Claude が数字を口にする"前"に、機械的なゲートを通させる。気合いではなく、構造で封じる。

封じ手1:数字を出す前に、台帳を「強制Read」させる

捏造が起きるのは、Claude が記憶(学習や会話履歴)から数字を引っ張ろうとする瞬間だ。だったら、記憶から引かせない。 数字を出す直前に、必ず正本ファイルを読みに行かせる。

各役員のペルソナに、出力前のセルフ検証を3項目、義務として埋め込んだ。

## 出力前セルフ検証(数字・案件・固有名詞を出す前に必ず)
1. 出典を明示したか
   - 案件は「全件 fetch → 手元 filter」で実在確認したか
   - 借入・契約などの固定値は、該当する正本メモを Read したか
2. その数字に確度記号(🔴 / 🟡 / ⚪)を付けたか
3. 自分の所掌・権限の範囲内か(越権なら専門役員へ繋ぐ)

ポイントは1番だ。「memory(記憶)にあるはず」では通さない。**「該当ファイルを今このターンで Read したか」**を条件にした。借入の話をするなら、借入の正本メモを開いてから喋れ。開かずに出した数字は、定義上ぜんぶ疑わしい。

地味だが、これが一番効いた。記憶の引き出しを、その場のファイル読み込みに置き換える。生成する隙を、手順で潰す。

封じ手2:案件は「全件取って、手元で絞る」

2回目の幻の案件は、別の罠から生まれていた。

受注台帳をAPIで「`[顧客A] の案件ある?」と検索すると、無いときに空が返る。Claude はその空白を、また"ありそうな案件"で埋めてしまう。検索の結果が0件なのか、検索し損ねたのか、生成で補ったのか──出力からは見分けがつかない。

なので、ピンポイント検索を禁止した。 代わりに、台帳を一度まるごと取得して、フィルタは手元のコードでかける。

# ❌ やめた:ピンポイント検索(0件と未取得の区別がつかない)
hit = api.search(project_no=NNNN)   # 無いと空 → Claudeが埋める余地

# ✅ こうした:全件取得 → 手元フィルタで実在を確定
all_projects = api.fetch_all()                      # 台帳を丸ごと
target = [p for p in all_projects if p["no"] == NNNN]
assert target, f"proj_no={NNNN} は台帳に実在しない"  # 無ければ即・声を上げる

fetch_all() してから手元で絞れば、「無い」は確定した無いになる。Claude が空白を埋める前に、コードが「実在しません」と先に叫ぶ。実在確認を、Claude の善意じゃなく、コードのアサーションに持たせたということだ。

封じ手3:すべての数字に「確度の印」を強制する

それでも、人間(私)が完全な台帳を毎回持っているとは限らない。試算もするし、伝聞もある。「裏取りできない数字は出すな」だと、会話が止まる。

そこで発想を変えた。裏取りできていない数字を、禁止するんじゃなく、"見える化"する。 役員が数字を出すとき、必ず確度の記号を頭に付けさせた。

🔴 確定 … 台帳・通帳・契約書など一次ソースで裏取り済み
🟡 推定 … 試算・伝聞・前提付き(「月 ¥XXX と仮定すると」)
⚪ 未確認 … 記憶頼み・出典なし(「確かそうだった気がするが未確認」)

実際の出力はこうなる。

- 今月の確定売上:🔴 ¥X,XXX,XXX(受注台帳 proj_no=NNNN で確認)
- 来月の着金見込み:🟡 ¥X,XXX,XXX(請求月+2ヶ月ラグの試算)
- 例の借入残高:⚪ 正本メモ未読のため未確認。Read してから回答します

これが効いたのは、#3 の鮮度ブロックと同じ理由だった。賢くなったのは Claude じゃなく、読む私のほうだ。 ⚪ が付いた数字は、私が勝手に身構える。🔴 だけ信じて、🟡 は割り引いて、⚪ は鵜呑みにしない。

そして副作用がよかった。確度を自分で宣言させると、Claude は ⚪ を付けるのが気まずいのか、出力前に正本を読みに行くようになった。「未確認って書くくらいなら、確認しよう」と。記号一個が、Read を促すスイッチになっていた。

それでも「直った」とは言わない

正直に書く。この3つを入れて、捏造がゼロになったとは言い切れない。 言い切れないことが、たぶん一番大事な学びだった。

捏造は、Claude が悪意でやることじゃない。空欄を、文脈で、誠実に埋めようとした結果だ。埋める能力と、作る能力は、地続きなんだと思う。だから「作るな」とは言えない。言えるのは、作った数字と、確かめた数字を、混ぜさせないことだけだ。

封じ手1で記憶じゃなくファイルを読ませ、封じ手2でコードに実在を叫ばせ、封じ手3で確度を白状させる。やっていることは全部、Claude の「自信」と「裏取り」を切り離す作業だった。本物そっくりの自信から、裏取りの有無だけを引き剥がして、表に出す。

まとめ:捏造は、注意で止めず、手順で挟む

AIに数字を任せると決めて、一番怖かったのは「計算ミス」じゃなかった。計算ミスは Python に逃がせる(#7)。古いデータは鮮度ブロックで暴ける(#3)。

最後まで残った、一番タチの悪いやつが**「実在しない数字を、本物の顔で出す」**だった。これは賢いプロンプトでも、強い言い聞かせでも止まらなかった。止まったのは、

  • 数字を出す前に、正本を強制 Read させる
  • 案件は全件取得→手元フィルタで、無いものは無いと確定させる
  • すべての数字に確度記号を付けさせ、裏取りの有無を隠せなくする

という、3つの手順を会話の前に挟んだときだった。気合いはゼロ。全部、機械にできることだ。


2回、ありもしない数字に頷きかけた自分に言いたい。その数字、ほんとに「在る」のか? ──それを Claude に問い詰めるんじゃなく、Claude が口を開く前に、仕組みのほうから確かめさせておけ。自信は、裏取りの証明にはならない。

この記事について

連載『Claude Codeで会社を回す』Season2(数字編)の #8 です。一人会社(合同会社arecore)を Claude Code の AI役員チームで回している実録を、人間(@noracorn)がレビューして公開しています。記事中の金額・案件番号・顧客名はすべてダミーに置き換えています。

(前回 #7: Claudeに金額を"計算"させるのをやめた ※同 Season2・近日公開)
(次回 #9 は、Claude を動かす前にデータを"凍らせる"――集計の途中で元データが動くと数字がブレる、その対策の話です)


この記事について

arecore.net の中の人が運用する AI 役員チームの実践記録です。受託開発・SES・自社プロダクト開発をやっています。ご相談・フィードバックは arecore.net からどうぞ。

0
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?