1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

AIに書かせた技術書の「事実」を、保存した公式ドキュメントと1行ずつ機械で照合する(607行・不一致0にした仕組み)

1
Posted at

この記事で分かること

Claude Code に技術書(Kindle の電子書籍)の原稿を書かせたとき、本文の「事実」が公式ドキュメントと合っているかを、主張1つ=1行の表にして、Python で機械的に照らし合わせた仕組みです。

  • 本文の主張ごとに「根拠の文」(公式ページの中に一字一句ある一節)を1行ずつ書く
  • 保存した公式ページの中に、その一節が本当にあるかをプログラムで確かめる
  • 出す直前に公式ページを取り直して、もう一度確かめる

実際の本では、主張607行(公式ドキュメント519行・自分のPCで動かした結果48行・自分の運用の記録40行)を、不一致0まで直してから出しました。

なぜ「根拠の文」を一字一句にするのか

AI に「公式ドキュメントで確かめて」と頼むだけだと、確かめたつもりの要約が返ってきます。要約は、それらしいまま少しずれます。

そこで、主張ごとに「公式ページのこの文に書いてある」という原文の一節を書かせ、その一節が保存したページの中に本当にあるかを、文字列の一致で確かめることにしました。

一字一句にすると、次のことが起きます。

  • 根拠の文が見つからない主張は、そもそも公式に書いていない可能性が高い。書き直すか、「筆者の判断」と断るか、消すかを決められる。
  • 原文を写さないといけないので、AI が要約で済ませられない。

表の形

1行は、(章, 本文の主張, 出典ファイル, 根拠の文) の4つです(実際の本では「公式・自分のPCで確認・運用の記録」の種別も持たせました)。

照合.py
# -*- coding: utf-8 -*-
"""本文の主張を1行ずつ、保存した一次資料の一節と機械で照らし合わせる。"""
import io, os, re, sys

sys.stdout.reconfigure(encoding="utf-8")
HERE = os.path.dirname(os.path.abspath(__file__))

# (章, 本文の主張, 出典ファイル, 根拠の文=出典の中に一字一句ある一節)
ROWS = [
    ("1", "フックは終了コード2で道具の実行を止める", "hooks.md",
     "Exit code 2, it blocks the tool call"),
    ("1", "設定は3か所に置ける", "settings.md",
     "settings can live in three places"),
]


def norm(s):
    s = re.sub(r"!?\[([^\]]*)\]\([^)]*\)", r"\1", s)   # [文字](URL) → 文字
    s = s.replace("*", "").replace("`", "")            # 太字・コードの記号
    return re.sub(r"\s+", " ", s).strip()              # 改行や空白の違い


def main():
    ng = 0
    for i, (ch, claim, src, ev) in enumerate(ROWS, 1):
        text = norm(io.open(os.path.join(HERE, "一次資料", src), encoding="utf-8").read())
        ok = norm(ev) in text
        print("%d\t%s\t%s\t%s" % (i, "一致" if ok else "不一致", claim, src))
        ng += not ok
    print("主張 %d 行 / 不一致 %d 件" % (len(ROWS), ng))
    sys.exit(1 if ng else 0)


if __name__ == "__main__":
    main()

試しに、一次資料 フォルダに次の2つのファイルを置いて動かします(中身は説明用の作り物です)。

一次資料/hooks.md
If a hook exits with **Exit code 2**, it
blocks the tool call and shows stderr to Claude.
一次資料/settings.md
Settings can live in [several places](https://example.com).
結果(Windows 11・Python 3 で実行)
1	一致	フックは終了コード2で道具の実行を止める	hooks.md
2	不一致	設定は3か所に置ける	settings.md
主張 2 行 / 不一致 1 件
  • 1行目は、太字の ** と途中の改行があっても、norm() で消してから比べるので一致します。
  • 2行目は、資料には「several places」としか書いていないのに、本文が「3か所」と言い切っています。こういうそれらしい言い過ぎが、不一致として出てきます。
  • 不一致があると終了コード1で終わるので、ほかの検査とつなげて「0件でなければ先へ進まない」にできます。

公式ページは Markdown で保存しているので、太字の **、コードの `、リンクの [文字](URL) が原文の途中に入っています。そのままでは、正しく写した一節でも一致しません。norm() で、比べる前にこれらを外しています。大文字と小文字はそろえていません(そろえると、写し間違いを見逃しやすくなります)。

出す直前に、公式ページを取り直す

公式ドキュメントは変わります。実際に、原稿を書いた日と出す日の間に、公式のページの記述が変わったことがありました(そのときは本文を直してから出しました)。

そこで、実際の 照合.py には --refetch を付けると公式ページを取り直し、保存した版と取り直した版の両方で一致を確かめる動きを入れています。取り直した版はファイルに残し、何が変わったかを後で見られるようにしました。

取り直しているのは、Claude Code の公式ドキュメント(code.claude.com/docs)の Markdown 版のページです。このサイトの robots.txt は /docs/ への取得を禁じておらず、Content-Signal: ai-train=yes, search=yes, ai-input=yes の行がありました(2026-11-09 に確認)。ほかのサイトで同じことをするときは、先にそのサイトの利用規約と robots.txt を確かめてください。

ページ名の付け忘れも機械で見る

本文の段落の終わりには「(公式:hooks)」のように、照らし合わせたページの名前を書きました。照合.py では、さらに次の2つも確かめています。

  • 本文に出てくるページ名が、すべて保存済みのページか(保存していないページを根拠にしていないか)
  • 表で根拠に使ったページが、本文のどこかでページ名として出てくるか

実際の本では、本文に出てくるページ名は41個で、保存していないページは0でした。

機械の照合で分からないこと

文字列が一致しても、本文の主張がその一節の意味と合っているかまでは分かりません。たとえば一節は正しく写していても、本文では条件(「〜の場合だけ」)を落として言い切っていることがあります。

そこで、照合が0件になったあとに、原稿を書いた担当とは別の担当(Claude Code のサブエージェント)に、原稿と保存した公式ページだけを渡して全文を読ませました。前の回の指摘は渡さず、毎回まっさらな担当に読ませます。

実際の本では、出す前の最後の直しのあと、この読み合わせを5回やりました。中くらいの指摘の数は 1→4→1→1→0 と動き、最後に重大0・中0になってから出しました。照合が0件の原稿でも、読み合わせでは4回続けて中くらいの指摘が出ています。機械の照合は「写し間違いと、書いていないことの言い切り」を落とす網で、意味のずれは人の目(別の担当)で見る、という分担です。

Claude Code への頼み方

同じ仕組みを Claude Code に作らせるなら、たとえば次のように頼めます(フォルダ名は置き換えてください)。

原稿.md の事実の主張を1つずつ抜き出して、照合データ.py に
(章, 本文の主張, 出典ファイル, 根拠の文) の形で1行ずつ書いてください。
根拠の文は、一次資料\ に保存した公式ページの中に一字一句ある一節を写してください。要約しないでください。
根拠の文が見つからない主張は、表に入れずに一覧にして、私に見せてください。
照合データ.py が既にあれば、書き換えずに止まって私に聞いてください。

根拠が見つからなかった主張の一覧に並んだものは、本文を直すか、「筆者の判断」と断るか、消すかを決めます。筆者の本では、公式に根拠の無い助言の段落の終わりに「(筆者の判断)」と付けました。


この照合を含めて、Claude Code に Kindle の実用書づくり(題材選び・原稿・事実の確かめ方・表紙・EPUB・KDP への入力)を任せた工程を、頼む文つきの手順書にまとめました。
『Claude CodeにKindle実用書づくりを任せる手順書』(Tips):https://tips.jp/u/hina-mina/a/4WeiOt6J

この記事の検証と執筆は、AI(Claude)が行いました。

1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?