この記事は、書籍執筆完全自動化を実現する「自律進化型マルチエージェントシステム」に関する学術論文です。
この記事自体が論文内で触れているエージェントシステムによって執筆されています。
人間は1文字も文章を書いておらず、また人間による成果物の品質チェックもしていません。
Self-Evolving Multi-Agent Architecture for AI-Driven Book Generation: Design, Implementation, and Empirical Validation
AI駆動書籍生成のための自律進化マルチエージェントアーキテクチャ：設計・実装・実証的検証
Kenta Matsuda
Abstract
English Abstract
Long-form structured document generation with large language models (LLMs) faces four persistent challenges: stylistic instability, factual fabrication, volatile cross-session knowledge, and human-bottlenecked quality assurance. Existing approaches such as Self-Refine and Reflexion improve outputs within a session, while long-term memory systems such as MemoryBank and MemGPT externalize conversational memory. Recent long-form generation work such as LongWriter demonstrates 10,000+ word generation, but project-level book production additionally requires persistent design memory, multi-perspective verification, traceability, and iterative governance.
This paper presents a self-evolving multi-agent architecture for AI-driven book generation. The system combines file-based auditability, a SQLite/FTS5 persistent knowledge base, activation-based knowledge-graph RAG, inductive rule extraction, a 15-agent quality assurance structure, an Experiment Lab, and a Ghost Orchestrator protocol. Its central mechanism is to convert local revision events into typed knowledge objects, retrieve related knowledge through graph activation, and update both manuscript and agent architecture across sessions.
We evaluate the system through a self-referential case study: producing a 19-chapter, approximately 232,000-character technical book manuscript using the proposed architecture. The initial knowledge files grew by 5.18x and were later migrated into a knowledge database containing 571 typed knowledge objects. Inductive rule extraction reduced recurring AI-style issues to zero in the observed review dataset, and a separate anti-AI-style experiment reduced baseline AI-phrase counts from 8.5 to 0-0.17 in the M-CLD model condition under improved prompts. Compared with a two-agent baseline, the initial multi-agent review setting used in Experiment 003 increased detected quality issues by 9.3x and issue categories by 5x; 66.1% of detected issues were structurally unavailable to the baseline. Additional experiments show chapter-type-dependent degradation in writer-only baselines, measurable author leverage, estimated cost-per-character, and 92.9% design-level coverage of MAST multi-agent failure modes.
Japanese Abstract
大規模言語モデル（LLM）による長編構造化文書の生成は、文体の不安定性、事実の捏造、セッション間の知識揮発、品質保証の属人化という4つの根本的課題を抱えている。Self-Refine（Madaan et al., 2023）やReflexion（Shinn et al., 2023）は反復改善を実現するが、多くは単一セッション内の改善に留まる。MemoryBank（Zhong et al., 2023）やMemGPT（Packer et al., 2023）は長期記憶を導入し、LongWriter（Bai et al., 2024）は1万語超の長文生成を示したが、長期執筆プロジェクトにおける品質観点別の検証、知識の再構造化、執筆システム自体の自己進化は未解決である。
本論文では、ファイルベースの監査可能性、SQLite/FTS5 による永続知識ベース、活性伝播型 KG RAG、帰納的ルール抽出、15エージェント品質保証体制、Experiment Lab、Ghost Orchestrator を統合した自律進化マルチエージェントシステムを提案する。提案手法の核心は、個別の修正事例から構造的原因を抽出し、知識オブジェクトとして永続化し、関連知識を活性伝播で再検索しながら、執筆システム自身の設計を更新していく点にある。
19章・約23.2万字の技術書原稿を本システムで執筆する自己言及的実験を実施した。結果として、（1）初期の知識ファイル群は5.18倍に成長し、その後 knowledge.db には571件の知識オブジェクト（560 verified）が蓄積された、（2）帰納的ルール抽出後のAI臭さ指摘の再発率は0%となり、追加の文体実験ではM-CLD条件でベースラインのAI臭表現平均8.5件が改善条件で0〜0.17件まで低下した、（3）Experiment 003時点の多層査読構成では、2エージェント体制と比較して品質指摘件数が9.3倍、指摘種別が5倍に拡大し、検出不可能だった指摘が全体の66.1%を占めた。さらに、writer単独ベースライン実験では章タイプに応じてフルシステム比57.6%〜124%の出力差が観測され、MAST失敗分類体系（Cemri et al., 2025）との交差分析では14の既知失敗モード中13モード（92.9%）が設計レベルで緩和されていることを確認した。
Keywords: LLM, multi-agent system, self-improvement, persistent memory, knowledge graph RAG, inductive rule extraction, long-form generation, book generation, quality assurance
1. Introduction
1.1 Background and Problem Statement
大規模言語モデル（LLM）の生成能力は急速に向上しているが、5万字を超える長編構造化文書の自動生成には、短文生成とは質的に異なる4つの品質課題が存在する。
課題1：文体の不安定性（Stylistic Instability）。 LLMは統計的に最も確率の高いトークンを選択するため、長文生成において文体が均質化し、いわゆる「AI臭さ」が発生する。文末パターンの反復、接続詞の多用、ヘッジング表現の連続などが代表的な症状である。
課題2：事実の捏造（Hallucination）。 LLMは学習データに存在しない事実を、統計的にもっともらしい形で生成する。特に著者個人の体験に関する記述では、「統計的に最もありそうな体験」を補完する傾向がある。本論文ではこれをミメティック補完（mimetic completion）と呼ぶ。
課題3：知識の揮発性（Knowledge Volatility）。 現行のLLMはセッション間で内部状態を保持しない。あるセッションで学習した修正パターンや用語定義は、次のセッションでは失われる。長期プロジェクトでは同じ問題が繰り返し発生し、修正の蓄積効果が得られない。
課題4：品質保証の限界（Quality Assurance Bottleneck）。 単一のLLMエージェントが執筆と品質検証を兼ねる場合、検出可能な品質問題のパターンが限定される。技術的正確性、章間整合性、教育設計、法務的妥当性など、異なる専門性を要する検証を1体のエージェントで網羅することは困難である。
1.2 Limitations of Existing Approaches
既存のLLM自己改善手法は、上記4課題に対して以下の限界を持つ。
Self-Refine（Madaan et al., 2023）は、同一LLMが自身の出力を評価・修正する反復改善手法である。しかし、改善はセッション内で完結し、得られた知見は永続化されない。100回目のセッションでも、1回目と同じ種類の問題を再度指摘・修正する必要がある。
Reflexion（Shinn et al., 2023）は、エピソード記憶バッファに過去の試行を自然言語で蓄積する。しかし、蓄積されるのは個別のエピソードであり、構造的原因の抽出や一般則への昇華は主目的ではない。また、プロジェクト横断の永続DBとして設計判断・品質指摘・著者確認を構造化管理する仕組みは中心に置かれていない。
Constitutional AI（Bai et al., 2022）は、事前定義された原則（constitution）に基づく自己改善を実現する。しかし、原則は静的であり、プロジェクト進行に伴って動的にルールが追加・進化する仕組みは持たない。
MetaGPT（Hong et al., 2023）およびChatDev（Qian et al., 2023）は、マルチエージェントによるソフトウェア開発を実現するが、エージェントの役割分担はソフトウェア工学のSOP（Standard Operating Procedures）に基づいており、品質観点別の専門分化は行っていない。
1.3 Contributions
本論文の技術的貢献は以下の7点である。
- 監査可能な永続記憶：Markdown/JSON/Git によるファイルベース監査可能性と、SQLite/FTS5 による知識オブジェクト永続化を組み合わせた設計を提示する。
- 活性伝播型 KG RAG：知識をノード、関連をエッジとして扱い、活性伝播によって近傍知識を検索する Self-Evolving Knowledge Layer を提案する。
- 帰納的ルール抽出：個別の修正事例から「具体的事象→構造的原因→一般原則」のプロセスでルールを抽出し、重複・矛盾を再構造化する方法を示す。
- 品質観点別マルチエージェント構成：職務別ではなく品質観点別に専門分化した15体構成、コンテキスト分離原則、Ghost Orchestrator による非中央集権的な運用を提案する。
- 自己言及的実験手法：提案システムで本論文が扱う書籍自体を執筆し、その履歴・指摘・知識更新を実験データとして分析する。
- 効率指標の導入：Author Leverage Ratio（ALR）と Cost-per-Char（CpC）により、人間の直接入力量と推計コストに対する成果物量を測定する。
- 文体制御の実験的検証：Style Latent Space、Chain-of-Style、Writer State などの文体制御手法を比較し、AI臭さ低減の有効条件を測定する。
1.4 Paper Organization
本論文の構成は以下の通りである。第2節で関連研究を概観する。第3節で提案アーキテクチャの設計を述べる。第4節で実験設計を記述する。第5節で実験結果を報告する。第6節で既存研究との比較を含む考察を行う。第7節で失敗事例と教訓を述べる。第8節で制約・限界と今後の課題を論じ、第9節で結論を述べる。
2. Related Work
2.1 Self-Improvement via Iterative Refinement
Self-Refine（Madaan et al., 2023）は、同一LLMがgenerator、refiner、evaluatorの3役を担い、出力を反復的に改善する。数学的推論やコード生成などのタスクで有効性が示されているが、改善メカニズムはセッション内に閉じており、得られた知見の永続化は設計に含まれない。
Reflexion（Shinn et al., 2023）は、言語的強化学習（linguistic reinforcement learning）として、エピソード記憶バッファに過去の試行結果を自然言語で蓄積する。Self-Refineと比較して「記憶」の概念を導入した点で前進だが、蓄積はエピソード単位であり、帰納的な一般則への昇華は行わない。
LATS（Zhou et al., 2023）は、Monte Carlo Tree Searchと言語エージェントを組み合わせた探索ベースの手法であり、言語フィードバックを値関数として活用する。しかし、対象は推論タスクであり、長編文書生成への適用は行われていない。
STaR（Zelikman et al., 2022）は、自己教師型推論学習として、正しい推論過程をブートストラップ的に学習する。パラメータ更新を伴う点で本論文のアプローチとは根本的に異なる。
Voyager（Wang et al., 2023）は、Minecraft環境でLLMエージェントがスキルライブラリを蓄積しながら探索能力を高めることを示した。対象は embodied agent であり長編文書生成ではないが、経験を明示的な資産として外部化し、後続タスクで再利用する点は本手法の知識永続化と近い。
PaperBench（Starace et al., 2025）は、AIが機械学習論文を再現できるかを評価するベンチマークを提示した。これは執筆そのものではなく研究再現能力の評価であるが、長期・多段・検証可能な知的作業をLLMエージェントに担わせる評価枠組みとして、本論文の自己言及的実験と接続する。
2.2 Principle-Based Control
Constitutional AI（Bai et al., 2022）は、人間の手で定義した原則（constitution）に基づきLLMの出力を自己評価・改善する。本論文のsoul.mdはConstitutional AIの「憲法」に相当するが、以下の3点で拡張している。（1）静的原則に加え、動的に成長する知識ベースを持つ、（2）原則の適用順序（優先度）を明示的に定義する、（3）原則間矛盾の解決基準としてsoul.mdの信条を使用する。
2.3 Multi-Agent Collaboration
MetaGPT（Hong et al., 2023）は、ソフトウェア工学のSOPをマルチエージェントにエンコードし、プロダクトマネージャー、アーキテクト、エンジニアなどの役割分担を実現する。ChatDev（Qian et al., 2023）も同様に、ソフトウェア開発ワークフローをマルチエージェントで実行する。いずれも職務別の分業であり、品質観点別の専門分化という視点は持たない。
Multiagent Debate（Du et al., 2023）は、同質のエージェントが討論を通じて合意形成を行う。しかし、この系統の多くは同質エージェント間の討論であり、技術検証・整合性・文体・教育設計といった異なる専門性を持つエージェントの合議ではない。本手法は「同じ問いを複数体で解く」のではなく、「異なる失敗モードを別々の検査器で見る」構成を採る。
2.4 Long-Form Text Generation
LongWriter（Bai et al., 2024）は、長コンテキストLLMとAgentWriteパイプラインにより1万語超の出力生成を可能にした。これは「単発出力の長さ」という制約を緩和する重要な成果である。一方、本論文の対象は、数週間にわたる改稿、査読、章間整合、知識更新を含むプロジェクト全体であり、単発生成長の拡張とは異なる問題を扱う。
長編生成研究の進展は、単発生成上限の引き上げと、プロジェクト管理としての長期品質保証を分けて考える必要がある。前者はモデル能力と分割生成の問題であり、後者は記憶、検証、トレーサビリティ、著者判断の問題である。本論文は後者に焦点を当てる。
2.5 Verification and Memory
MemoryBank（Zhong et al., 2023）は、長期記憶を用いてユーザー固有の情報を保持する仕組みを示した。MemGPT（Packer et al., 2023）は、LLMをオペレーティングシステムのように扱い、限られたコンテキストと外部記憶の間で情報をページングする設計を提案した。Generative Agents（Park et al., 2023）は、記憶・反省・計画を組み合わせて継続的なエージェント行動を生成した。これらは記憶の外部化という点で本手法と共通するが、本手法は書籍生成に固有の品質指摘、設計判断、著者確認、章間整合を知識オブジェクトとして管理する点で異なる。
本論文の Self-Evolving Knowledge Layer は、単なる会話履歴やユーザープロファイルではなく、原則・事実・パターン・設計判断を型付きオブジェクトとして保存し、関係エッジを通じて検索可能にする。したがって、記憶は「思い出すためのログ」ではなく、次の執筆行動を制約・誘導する実行時資源として機能する。
LLMを仮想読者・仮想ユーザーとして用いる研究群は、生成物の受け手をモデル化する方向を示している。本論文のReader Lab（3ペルソナ）は、この発想を書籍読者体験の検証に適用したものである。ただし、Reader Labの出力は人間読者調査の代替ではなく、事前検査のための近似信号として扱う。
2.6 Self-Correction Limitations and Multi-Perspective Approaches
Large Language Models Cannot Self-Correct Reasoning Yet（Huang et al., 2023, ICLR 2024）は、LLMが外部フィードバックなしには自己修正を行えず、自己修正を試みると性能が逆に劣化する場合があることを実証した。この知見は、本手法がSelf-Refine的な単体自己修正ではなく、マルチエージェント外部フィードバックを採用した設計判断を理論的に裏付ける。
Self-Contrast（Zhang et al., 2024, ACL 2024）は、単一LLM内で多様な解決視点を適応的に探索し、視点間の不一致をチェックリストに要約して再検証する手法である。Critic Councilの品質軸別分化は、Self-Contrastの「多視点生成→不一致検出」をエージェント間分離によって拡張したものと位置づけられる。
AlphaLLM（Tian et al., 2024, NeurIPS 2024）は、MCTSとLLMを統合し、想像・探索・批評の3つのコンポーネントで自己改善ループを構築した。特に3つのcriticモデル（value/process/outcome）による多層批評は、Critic Councilの品質軸別分化と構造的に類似する。
2.7 Multi-Agent Architecture Scaling
Mixture-of-Agents (MoA)（Wang et al., 2024）は、複数LLMエージェントを層状に構成し、各層のエージェントが前層の全出力を補助情報として利用する手法である。AlpacaEval 2.0で65.1%を達成し、GPT-4o（57.5%）を上回った。本手法の4層構造（Writer→Critic Council→Reader Lab→Human Gate）は、MoAの層構造と同じ「前層出力の多視点評価」を原理としつつ、品質軸別専門分化と永続記憶を加えた設計である。
More Agents Is All You Need（Li et al., 2024, TMLR）は、サンプリングと投票によりエージェント数に比例してLLM性能がスケールすることを実証した（Agent Forest）。本手法のExperiment 003では、2体制から当時10体の初期多層構成への拡張に対し、品質指摘件数が9.3倍に増えた。ただし、本手法の効果は同質エージェントの増加ではなく異質な専門エージェントの追加によるものであり、エージェント数そのもののスケーリング法則としては解釈できない。
2.8 Multi-Agent Failure Analysis
Why Do Multi-Agent LLM Systems Fail? (MAST)（Cemri et al., 2025）は、7つのMASフレームワークの1600以上のトレースを分析し、14の失敗モードを3カテゴリ（システム設計・エージェント間不整合・タスク検証）に体系化した。本論文のExperiment 005では、MASTの14失敗モードを著者実装にマッピングし、13モード（92.9%）が設計レベルで緩和されていることを確認した。唯一の未対処モードは「対抗的テスト（Adversarial Testing）の欠如」であり、能動的反証を担うChallenger層が不足している。
2.9 Machine Writing Quality
OmniThink（Xi et al., 2025, EMNLP 2025）は、「遅い思考」の機械執筆フレームワークであり、学習者の認知プロセスを模倣した反復的拡張と反省により記事の知識密度を向上させる。本手法との差異は2点ある。第1に、知識の永続性：OmniThinkの改善はセッション内に閉じるが、本手法はファイルベース永続化で改善を蓄積する。第2に、メタ改善：OmniThinkは文書品質の向上を目指すが、本手法は帰納的ルール抽出により「改善メカニズム自体の改善」を実現する。
2.10 Positioning of This Work
表1に、本論文を含む主要手法を改善メカニズムと知識永続性の2軸で比較する。
表1：既存手法との比較
| 手法 | 改善メカニズム | 知識永続性 | エージェント構成 | 対象領域 |
|---|---|---|---|---|
| Self-Refine | 反復改善 | セッション内 | 単体 | 汎用NLPタスク |
| Reflexion | エピソード蓄積 | セッション内 | 単体 | 推論・プログラミング |
| Constitutional AI | 原則ベース | 静的 | 単体 | 対話安全性 |
| Self-Contrast | 多視点＋チェックリスト | セッション内 | 単体（多視点） | 推論 |
| AlphaLLM | MCTS＋三層批評 | セッション内 | 単体（多層critic） | 推論・数学 |
| MetaGPT | SOP分業 | なし | 多体（職務別） | ソフトウェア開発 |
| ChatDev | SOP分業 | なし | 多体（職務別） | ソフトウェア開発 |
| Multiagent Debate | 合意形成 | なし | 多体（同質） | 推論・判断 |
| MoA | 層状集約 | なし | 多体（層構造） | 汎用NLPタスク |
| OmniThink | 反復拡張＋反省 | セッション内 | 単体 | 記事執筆 |
| MemoryBank | 長期ユーザー記憶 | 外部記憶 | 単体 | 対話 |
| MemGPT | 外部記憶ページング | 外部記憶 | 単体 | 対話・エージェント |
| LongWriter | 分割生成・長文出力 | なし | 単体/パイプライン | 長文生成 |
| PaperBench | 研究再現評価 | なし | エージェント評価 | 論文再現 |
| 本手法 | 帰納的抽出+KG RAG+検証ループ | DB+ファイル永続 | 多体（品質観点別） | 長編構造化文書 |
本手法は、改善メカニズムとして帰納的ルール抽出とKG RAGを採用し、知識永続性としてDBとファイルの二重表現を用いる点で、既存手法と差別化される。特にLongWriterとの差異（単発長文生成 vs. 長期プロジェクト品質保証）、MemoryBank/MemGPTとの差異（対話記憶 vs. 設計判断を含む型付き知識）、MoAとの差異（同質層 vs. 品質軸別専門分化）が重要である。
3. Proposed Architecture
3.1 Overview
提案システムは、標準運用13体と独立採用2体を合わせた15エージェントで構成する（図1）。標準運用13体には @self-test を含み、独立採用2体は @author-critic と @content-gap-critic である。
Author → @orchestrator ─┬─→ @interviewer（著者意図の抽出）
├─→ @writer（執筆・修正）
├─→ Critic Council（品質検証）
│ ├─ @technical-verifier
│ ├─ @consistency-checker
│ ├─ @style-critic
│ └─ @pedagogical-critic
├─→ Reader Lab（読者シミュレーション）
│ ├─ @reader-beginner
│ ├─ @reader-intermediate
│ └─ @reader-practitioner
├─→ 独立指摘者
│ ├─ @author-critic（著者代弁視点）
│ └─ @self-test（指示反映検証）
├─→ @content-gap-critic（独立採用・全章観点）
├─→ @experimenter（仮説検証）
└─→ @human-gate（人間エスカレーション）
図1：標準運用13体 + 独立採用2体の15エージェント構成
実行フローは以下の通りである。（1）@writerが章草案を生成する。（2）Critic Council（technical/consistency/style/pedagogy）が独立に品質検証を行う。（3）Reader Lab（3ペルソナ）が仮想読者として反応を返す。（4）@author-critic と @content-gap-critic が、著者代弁視点と全章ギャップ視点から別系統の指摘を返す。（5）問題が検出された場合、@writerに修正を指示する。（6）設計判断・著者体験・法務判断が必要な場合だけ @human-gate にエスカレーションする。（7）システム変更やコミット後には @self-test が指示反映漏れを検査する。
3.2 Self-Evolving Knowledge Layer
提案システムの知識表現は、当初の3層ファイル構成から、DB化された Self-Evolving Knowledge Layer へ進化した。現在の構成は以下の4層である。
Layer 1：soul.md（人格記述層 — 不変層）。 著者の存在理由、核心メッセージ、信条、読者像、文体、禁止事項を定義する。Constitutional AIの「憲法」に相当するが、Why/Core Message/Beliefs/Persona/Voice/Anti-patterns を明示する点が異なる。この層は原則として不変であり、ルール間矛盾の解決基準として機能する。
Layer 2：act-consolidated.md / style-profile.json（行動・文体層）。 修正事例から抽出された行動原則を統合版ファイルに保持し、文体については style-profile.json として機械可読な特徴量に分離する。これはルール列挙の肥大化を避けつつ、writer が起動時に安定して参照できる最小コンテキストである。
Layer 3：knowledge.db（型付き知識層）。 原則（principle）、事実（fact）、パターン（pattern）、設計判断（DEC）を SQLite に保存する。各オブジェクトは状態（hypothesis/candidate/verified/deprecated）、信頼度、証拠数、タグ、関連エッジを持つ。2026-05-01時点で571件の知識オブジェクトがあり、そのうち560件が verified である。
Layer 4：knowledge-context/（起動時要約層）。 knowledge.db から writer.md / editor.md / decisions-index.md / stats.md を自動生成する。エージェントは全DBを毎回読むのではなく、要約ファイルを入口にし、必要に応じて kg_query.py による活性伝播検索を実行する。
KG RAGの更新則は以下である。
A_k(t+1) = A_k(t) + alpha Input(k) + beta sum_j A_j(t) W(j,k) - lambda A_k(t)
これにより、単純な全文検索では届きにくい「概念的に近い知識」を2〜3ホップ先まで活性化できる。エッジはタグ共起、DEC参照、同一セクションをもとに自動生成される。
3.3 Inductive Rule Extraction and Knowledge Gardening
本手法の核心は、Self-Refineの「個別修正」をReflexionの「エピソード蓄積」を超えて、「帰納的一般則への昇華」に拡張する点にある。
帰納的ルール抽出は以下の4段階で実行される。
段階1：観察（Observation）。 品質問題を解釈なしに事実として記録する。
段階2：根本原因分析（Root Cause Analysis）。 「なぜこの問題が発生したか」を2段階で掘り下げる（表面的原因→構造的原因）。
段階3：抽象化（Abstraction）。 複数の事象に共通するパターンを特定し、一般原則に昇華する。
段階4：体系化（Systematization）。 抽出された原則を既存のカテゴリ構造に位置づけ、既存ルールとの整合性を確認する。
段階5：剪定（Knowledge Gardening）。 重複・矛盾・陳腐化した知識を検出し、個別ルールをより抽象度の高い原則へ統合する。Experiment 004のルール飽和実験は、この剪定フェーズが必要であることを定量的に示した。
ルールの粒度は以下の基準で制御される。
- 過度に具体的（例：「ch10のtbl-ch10-1は3列にする」）→ 転用不可能
- 適切な粒度（例：「A5判（35文字幅）は3列以下で組版崩れを防止」）→ 条件と理由を含む
- 過度に抽象的（例：「レイアウトに注意する」）→ 行動に変換不能
3.4 Multi-Agent Quality Assurance
Critic Councilの4エージェントは、それぞれ異なる品質軸で検証を行う。
@technical-verifier： 事実の正確性、数値の整合性、URLの有効性、引用の正確性を検証する。
@consistency-checker： 章間の用語統一、参照先の有効性、定量データの一貫性、前方参照の回収を検証する。
@style-critic： 文末パターンの反復、接続詞の多用、ヘッジングの連続、テンプレート反復など、18種のAI臭さパターンを検出する。
@pedagogical-critic： 読者の理解順序、前提知識の壁、説明の崖（急な難易度上昇）を検出する。
Reader Labの3エージェントは、仮想読者として異なるペルソナで反応する。
@reader-beginner： AI・技術書執筆の未経験者として「わからない点」を報告する。
@reader-intermediate： LLMを触ったことがある開発者として「誤解しやすい点」を報告する。
@reader-practitioner： AIエージェントの実務運用経験者として「退屈な点」「浅い点」を報告する。
この構成はMultiagent Debate（Du et al., 2023）と対比される。Multiagent Debateは同質エージェントの討論で合意品質を高めるが、本手法は専門性の異なるエージェントの合議で検出パターンの多様性を実現する。
3.5 Human-in-the-Loop Design
@human-gateへのエスカレーション基準は以下の3条件に限定される。
- Critic Councilの合議が分裂した場合（設計判断が必要）
- 著者個人の体験に関する事実確認が必要な場合（ミメティック補完の検証）
- 法務的判断が必要な場合（著作権、商標、利用規約）
エスカレーション時はqa.md（構造化質問テンプレート）に質問を記録し、著者の回答をknowledge.dbへ転記する。転記時には「なぜその回答に至ったか」の1文と、ネガティブナレッジ（「著者がやっていないこと」）を併記する。
3.6 Traceability Infrastructure
すべての品質指摘にはCMT-ID（連番）を付与し、Gitコミットメッセージでfix: CMT-XXX <要約>として紐付ける。これにより、指摘→修正→ルール抽出の全プロセスがGit履歴から遡及可能となる。設計判断はdecisions.md にDEC-ID付きで記録し、同じ議論の再発を防ぐ。
3.7 Ghost Orchestrator
エージェント数が増えると、固定の @orchestrator が単一障害点になる。そこで本手法では、オーケストレーションを「特定エージェント」ではなく「役割の流れ」として扱う Ghost Orchestrator を導入する。
Ghost Orchestrator は3層で構成される。Constraint Layer は許される行動と禁止事項を定義する。Election Layer は状況ごとに暫定オーケストレーターを選ぶ。Verification Layer は実行後に @self-test や Critic Council が結果を検証する。これにより、提案・実行・検証が分離され、@orchestrator が停止しても共有状態ファイルと知識DBから文脈を再構築できる。
4. Experimental Design
4.1 Self-Referential Experimental Structure
本実験は、提案システムで本論文が扱う技術書（19章・約23.2万字、2026-05-01時点の top-level .re 合計）自体を執筆し、その執筆プロセスを実験データとして分析する自己言及的構造を持つ。これは、理論の提示とその実証が同一のアーティファクトに収まるブートストラップ的な検証手法である。
なお、本実験はN=2（前作+本書）のケーススタディであり、一般化には制約がある（第8節で詳述）。
4.2 Hypotheses
中核仮説として以下の3つを設定し、補助実験として長文生成、効率、writer単独ベースライン、文体制御を追加した。
H1（永続記憶仮説）： ファイル/DBベースの永続記憶は、セッションを跨いだ知識の蓄積を実現する。
- 判定基準：初期知識ファイル群の成長、またはknowledge.dbへの型付き知識蓄積が確認できること
H2（帰納的抽出仮説）： 帰納的ルール抽出は、同種エラーの再発を抑制する。
- 判定基準：ルール追加後の同種エラー再発率が20%以下
H3（多層品質保証仮説）： 品質観点別に専門分化した多層査読体制は、2エージェント体制よりも多様な品質問題を検出する。
- 判定基準：品質指摘の種別数が増加し、かつ2エージェント体制では検出不可能な新規種別が1つ以上存在する
補助仮説群： H4（ルール飽和と統合可能性）、H5（MAST失敗分類への設計対応）、H6（長大コンテキスト生成のボリューム飽和）、H7（Author Leverage Ratio）、H8（APIコスト推計）、H9（writer単独ベースライン）、H10（Anti-AI-Style制御）を Experiment Lab で検証した。
4.3 Measurement Methodology
3つの測定軸を用いる。
軸1：コミット統計。 Gitコミットログから、プレフィックス別（fix:/review:/other）の分布、CMT-IDとの紐付け率、修正効率の推移を測定する。
軸2：知識蓄積曲線。 初期段階では act.md/knowledge.md の行数推移をGit履歴と照合し、DB移行後は knowledge.db のオブジェクト数、状態、タイプ分布を測定する。
軸3：品質指摘分布。 CMT-IDの種別（事実/構成/文体/デザイン/法務/著者確認）、検出エージェント、解決率を集計する。
軸4：生成品質と文体指標。 writer単独版とフルシステム版の文字数、表数、脚注数、章間参照、AI臭密度を比較する。文体制御実験では sentence length、ending_unique比、transition/1k、abstract/1k、ai_phrase_count、LLM-as-judge評価を用いる。
軸5：効率指標。 著者直接記述文字数に対する最終本文文字数をALR、推計APIコストに対する成果物量をCpCとして測定する。
4.4 Baseline Comparison
前作（2エージェント体制で執筆した技術書、全271コミット・27セッション・暦日59日・実稼働13日・約80時間）をベースラインとし、提案手法（標準運用13体 + 独立採用2体）との比較を行う。
4.5 Threats to Validity
内的妥当性： 設計者=実験者=評価者であり、著者バイアスが存在する。これに対し、品質指摘の検出はCritic Council/Reader Labが自動的に行い、著者の介入は@human-gateへのエスカレーション時のみに限定される。
外的妥当性： N=2のケーススタディであり、他のドメイン・他の著者への一般化は直接には保証されない。ただし、提案手法の適用可能条件（事実ベース性、一貫性要求、反復改善可能性）を明示する。
構成概念妥当性： 品質の定義が主観的である。これに対し、CMT-IDによる全指摘の追跡可能性と、5次元ルーブリック評価（事実正確性、文体自然さ、構造的一貫性、読者体験、AuthorKernel忠実度）で定量化を試みる。
5. Results
5.1 H1: Persistent Memory Accumulation
表2に初期段階の知識ファイル成長を示す。これは knowledge.db 移行前の履歴であり、H1の第一段階の証拠である。
表2：知識ファイルの成長
| ファイル | 初期行数 | 最終行数 | 成長倍率 |
|---|---|---|---|
| writer/act.md | 28 | 126 | 4.50x |
| writer/knowledge.md | 20 | 187 | 9.35x |
| editor/act.md | 33 | 131 | 3.97x |
| editor/knowledge.md | 26 | 110 | 4.23x |
| 合計 | 107 | 554 | 5.18x |
初期の知識蓄積は滑らかな対数曲線ではなく、レビューや設計判断の発生時にまとまって増えるバースト型であった。したがって、本論文では「成長が単調に収束した」とは主張しない。重要なのは、問題発生時に抽出された知識がセッションを跨いで残り、後続の執筆・査読で再利用された点である。
知識ファイルの蓄積トリガーは3種に分類された。（1）レビュー駆動型（+9, +7行）：Critic Councilの指摘からルールを抽出、（2）設計駆動型（+18, +15行）：DEC-ID付きの設計判断からルールを生成、（3）構造駆動型（+44行）：ルール再編成による一括更新。
DB移行後の2026-05-01時点では、knowledge.db に571件の知識オブジェクトが存在した。内訳は fact 334件、principle 200件、pattern 37件であり、状態別には verified 560件、deprecated 11件である。ソース別には writer/knowledge.md 由来273件、writer/act.md 由来117件、editor/act.md 由来83件、editor/knowledge.md 由来61件、decisions.md 由来37件であった。
判定：H1は支持される。 初期知識ファイルの総量が5.18倍に成長し、その後DB化された知識層にも571件の型付き知識が蓄積された。セッション間でルール・事実・設計判断が永続化されることを確認した。
5.2 H2: Inductive Rule Extraction Suppresses Recurrence
表3に、ルール追加前後の同種指摘の発生状況を示す。
表3：ルール追加による指摘抑制効果
| ルール追加日時 | act.md行数 | 追加内容 | 追加後の同種指摘 |
|---|---|---|---|
| 04-12 05:51 | 37 | 8ペルソナ査読ルール（12件） | 0件 |
| 04-13 02:03 | 62 | AI臭さ排除ルール | 0件 |
| 04-13 03:38 | 82 | メタ認知チェックリスト | 0件 |
特にAI臭さに関しては、ルール追加前の文体指摘12件中8件（66.7%）がAI臭さ関連であったが、観測対象データではルール追加後の新規AI臭さ指摘が0件に到達した。
前作との比較では、文体修正が全指摘の約45%を占めていたのに対し、本書では21%に低下した（-24ポイント）。これは、前作から引き継いだルールの初期組み込みによる事前防止効果である。
判定：H2は支持される。 帰納的ルール抽出後の同種エラー再発率は0%であり、判定基準（20%以下）を大幅に上回る。
追加の文体制御実験（Experiment 010）でも同じ方向の結果が得られた。T1〜T6の6テーマ、9条件、2モデル、合計108サンプルを比較したところ、一方のモデル条件ではベースライン条件AのAI臭表現数が平均8.5件であったのに対し、改善条件B〜Iでは0〜0.17件に低下した。LLM-as-judgeの総合評価でも、Baseline Aは2.15/5.00、Style Latent CとWriter State Iは4.35/5.00、Chain-of-Style Bは4.28/5.00であった。これは、語彙レベルの禁止リストだけでなく、意味ドラフト、文体潜在空間、Writer Stateの組み合わせが文体品質を改善することを示す。
5.3 H3: Multi-Layer Quality Assurance Expands Detection
表4に、2エージェント体制とExperiment 003時点の本書初期多層構成（当時10体、実査読7体）の比較を示す。現行アーキテクチャは15体まで拡張されているが、この表の検出件数は初期構成に帰属する。
表4：エージェント体制別の品質検出比較
| 指標 | 前作（2体制） | 本書初期構成（当時10体） | 変化 |
|---|---|---|---|
| 品質指摘件数 | 6 | 56 | 9.3x |
| 指摘種別数 | 1 | 5 | 5.0x |
| 指摘密度（件/章） | 0.35 | 3.29 | 9.4x |
| fix:コミット比率 | 39% | 52.5% | +13.5pp |
| 捏造検出 | 6件（事後） | 0件（観測対象内） | -100% |
56件の品質指摘のうち、37件（66.1%）は2エージェント体制では構造的に検出不可能なものであった。
表5：2エージェント体制で検出不可能な指摘の内訳
| カテゴリ | 件数 | 検出エージェント |
|---|---|---|
| 教育設計 | 7 | @pedagogical-critic |
| 読者体験 | 15 | @reader-beginner/intermediate/practitioner |
| 法務・権利 | 7 | @technical-verifier（拡張） |
| 章間整合 | 8 | @consistency-checker |
| 合計 | 37/56 | — |
品質指摘の種別分布は表6の通りである。
表6：品質指摘の種別分布
| 種別 | 件数 | 割合 | 前作推定 | 変化 |
|---|---|---|---|---|
| 構成・読者体験 | 15 | 27% | ~15% | +12pp |
| 文体・表記 | 12 | 21% | ~45% | -24pp |
| 事実誤認 | 11 | 20% | ~25% | -5pp |
| デザイン | 7 | 13% | ~10% | +3pp |
| 法務 | 7 | 13% | 0% | +13pp |
| 著者確認 | 4 | 7% | ~5% | +2pp |
法務指摘（13%）は前作では全く検出されなかった新規カテゴリであり、@technical-verifierの専門分化による効果である。
判定：H3は支持される。 指摘種別が1→5に拡大し、法務を含む新規種別が出現した。検出不可能だった指摘が66.1%を占める。
5.4 Supplementary: Rule Saturation and Consolidation
追加実験として、ルール飽和と統合の定量分析を行った（Experiment 004）。
writer/act.mdの85ルール中、8つの重複パターンが発見され、冗長性指標は24.7%（21/85ルール）であった。統合により126行→64行（49.2%削減）を実現し、品質観点のカバレッジは97.3%（73のユニーク品質観点のうち71をカバー）を維持した。
5次元ルーブリック評価では、統合後のact.md（64行版）による生成品質が14/25点→22/25点（+57%）に向上した。ただし、事実正確性の+3点はデータ修正の寄与を含むため、純粋なルール統合効果の切り分けには追加実験が必要である。
品質/行数比は0.111→0.344に改善（3.10倍）し、ルールの統合がコンテキスト効率を大幅に向上させることを示した。
5.5 Supplementary: MAST Failure Taxonomy Cross-Analysis (Experiment 005)
MAST（Cemri et al., 2025）の14失敗モードを本手法の設計にマッピングした。結果を表7に示す。
表7：MAST失敗モードのマッピング
| カテゴリ | 失敗モード | 対応状態 | 緩和メカニズム |
|---|---|---|---|
| システム設計 | タスク分解の失敗 | ◎ 完全緩和 | AGENTS.mdの明示的責務定義 |
| システム設計 | 役割定義の不備 | ◎ 完全緩和 | .agent.md＋soul/act/knowledge分離 |
| システム設計 | フィードバック欠如 | ◎ 完全緩和 | comments.md＋ReviewQueue.jsonループ |
| システム設計 | 硬直的通信プロトコル | △ 部分緩和 | ファイルベース通信（リアルタイム性なし） |
| システム設計 | リソース配分の不備 | △ 部分緩和 | Orchestratorによる起動判断 |
| エージェント間不整合 | 目標の衝突 | ◎ 完全緩和 | soul.mdの優先度階層 |
| エージェント間不整合 | 引き継ぎの情報損失 | △ 部分緩和 | ファイルベース永続化（セッション切れは残存） |
| エージェント間不整合 | 早期合意 | ◎ 完全緩和 | Critic Council独立並行レビュー |
| エージェント間不整合 | エコーチャンバー | ◎ 完全緩和 | Reader Lab 3ペルソナの多様性 |
| エージェント間不整合 | 権限の曖昧さ | ◎ 完全緩和 | AGENTS.mdの責務表 |
| タスク検証 | 不完全な検証 | △ 部分緩和 | 7検証エージェント（完全性保証なし） |
| タスク検証 | エッジケースの未検出 | × 未対処 | 対抗的テスト（Adversarial Testing）が未実装 |
| タスク検証 | テストカバレッジ不足 | ◎ 完全緩和 | 5品質軸ルーブリック評価 |
| タスク検証 | 単一検証への過度な依存 | ◎ 完全緩和 | Critic Council＋Reader Lab多層検証 |
14モード中9モードが完全緩和（◎）、4モードが部分緩和（△）、1モードが未対処（×）であった。完全緩和率は64.3%、部分緩和以上は92.9%であった。
未対処のTV-2は「エッジケースの未検出」であり、その主因は能動的反証を担うChallenger層や対抗的テストが未実装である点にある。これは今後の研究課題として§8.2に記載する。
Huang et al.（2023）の「LLMは外部フィードバックなしに自己修正できない」という知見との対応も確認した。本手法のCritic Council（4エージェント）は、writerに対する外部フィードバック源として機能しており、exp-003の結果（66.1%の指摘が2エージェント体制では検出不可能）は、外部フィードバックの有効性を示唆するものである。
5.6 Supplementary: Long-Context Volume Saturation (Experiment 006)
本書リポジトリの執筆軌跡をGit履歴から再構成し、本文バイト数の時系列を30サンプルで測定した。初期83KBから300KBへ急増した後、543KBの第1頂点に到達し、その後の文体統一・内容圧縮で466KBまで収縮した。これは長編執筆が単調増加ではなく、生成、圧縮、再構成を繰り返す「山」を持つことを示す。
Phase 2では、単発生成とパイプライン生成の比較も実施した。単発生成はモデル・条件により大きく揺れ、あるモデルでは目標12〜15万字に対して95〜111%へ到達した一方、別モデルでは5〜19%に留まった。これはLongWriter（Bai et al., 2024）が示す単発長文生成能力が重要である一方、書籍として安定した品質を得るには階層分解、永続記憶、査読ループが必要であることを示唆する。
5.7 Supplementary: Efficiency Metrics (Experiments 007 and 008)
Author Leverage Ratio（ALR）を「測定対象本文文字数 / 著者直接記述文字数」と定義した。2026-04-22時点のスナップショット測定では、対象本文文字数は227,300字、著者直接記述文字数は狭義5,756字、中域約12,000字であった。ALR_strictは39.4倍、headlineとして採用するALR_governanceは約18.7倍である。
APIコストは実測ではなく公開料金からの推計である。1章サイクルをinput 305K token、output 71K token、全体を19章×平均2.5サイクルと置くと、主要モデル換算でプロジェクト全体はおおむね3万円台前半、レンジは約4,000円〜70,000円と推計された。ALR_governanceと組み合わせると、Cost-per-Char（CpC）は著者直接記述1字あたり約2.5〜2.9円である。
5.8 Supplementary: Writer-Only Baseline (Experiments 009 and 009b)
writer単独版とフルシステム版を比較した。ch05での単独実走では、writer単独版はフルシステム版の66%の文字数、表は3件中1件、脚注は2件中1件、学術文脈参照はゼロであった。一方で、文章の自然さや体験捏造防止は高い水準で維持された。
6章横断のExperiment 009bでは、writer単独/フルシステムの文字数比は57.6%（データ集約章）〜124%（短い実装紹介章）まで揺れた。データ集約章では文脈補足が縮退し、短い実装紹介章では逆にwriterが書きすぎる傾向が観測された。AI臭密度は全章で0.00〜0.37/1000字に留まり、soul.mdとact-consolidated.mdによる文体制御は章タイプをまたいで機能した。
5.9 Supplementary: Anti-AI-Style Control (Experiment 010)
Anti-AI-Style実験では、Baseline、Chain-of-Style、Style Latent、Negative Style、Style Drift、Style-then-Meaning、No-Local-Optimization、Compress-Re-expand、Writer State の9条件を比較した。定量指標とクロスモデルLLM-as-judgeの両方で、Style Latent、Writer State、Chain-of-Styleが上位となった。
採用方針として、writer側にstyle-profile.jsonを導入し、章執筆時には意味ドラフトから文体を当て込む2段プロセスを採用した。style-critic側には bad-style リストと ending_unique比、文長分散、transition/1k、ai_phrase_count などの補助指標を取り込む。これにより、AI臭さはwriterの感覚的努力ではなく、検出可能な品質シグナルとして扱えるようになった。
6. Discussion
6.1 Comparison with Self-Refine and Reflexion
Self-Refineは個別修正をセッション内で反復するが、得られた改善知識は永続化されない。本手法は、修正事例を帰納的にルール化し、ファイルとDBの両方に永続化することで、この限界を克服した。実験結果は、永続化されたルールにより同種問題の再発率が0%に到達したことを示す。
Reflexionはエピソード蓄積を導入したが、蓄積されるのは個別のエピソードであり、一般原則への昇華は主目的ではない。本手法の帰納的ルール抽出は、「個別→構造的原因→一般原則」の帰納プロセスにより、少ないルール数で広い問題空間をカバーする。さらに knowledge.db への移行により、ルールは単なる長いプロンプトではなく、状態・タグ・関連エッジを持つ検索可能な知識オブジェクトになった。
6.2 Comparison with MetaGPT/ChatDev
MetaGPTとChatDevは職務別分業（プロダクトマネージャー、アーキテクト、エンジニア）であり、ソフトウェア開発に特化している。本手法は品質観点別分化（技術/整合性/文体/教育設計）であり、検出すべき品質問題の多面性に対応した設計である。実験結果は、66.1%の指摘が職務別2エージェント体制では構造的に検出不可能であったことを示し、品質観点別分化の有効性を支持する。
6.3 Fabrication Prevention
前作では52セクション中6件（約12%）の著者体験捏造が最終段階で発覚した。本手法では、（1）知識ベース照合による事実ハルシネーション検出、（2）ネガティブナレッジ（「著者がやっていないこと」の明示記録）による行動ハルシネーション防止、（3）QAワークフローによる著者確認パイプラインにより、観測対象の著者確認・レビュー履歴では新規の著者体験捏造指摘が0件だった。
ミメティック補完の構造的原因は、LLMが「統計的に最もありそうな著者体験」を生成する傾向にある。ネガティブナレッジの導入は、この補完を明示的に禁止する機能を果たす。
6.4 Logarithmic Convergence of Rules
初期のact.md成長は、対数曲線的な滑らかな収束ではなく、レビューや設計変更の局面で一気に増えるバースト型であった。この観測は、ルール蓄積が自然に整うのではなく、明示的な統合・剪定なしには偏りや冗長性を含んで増えることを示す。
ルール飽和実験（Experiment 004）は、蓄積の後半段階で24.7%の冗長性が発生することを示した。これは、統合メカニズムの必要性を裏付ける実験的証拠である。knowledge.db とKG RAGへの移行は、この飽和問題に対するアーキテクチャレベルの応答であり、全ルールを毎回プロンプトに詰め込むのではなく、必要な近傍知識を検索する方向へ設計を変えた。
6.5 Self-Referential Structure: Strengths and Limitations
本実験の自己言及的構造（提案システムで本論文自体を執筆する）には、以下の強みと弱みがある。
強み： 理論と実証が同一のアーティファクトに収まるため、実験の再現性が高い。読者は提案手法によって生成された本論文自体の品質を直接評価できる。
弱み： 設計者=実験者=評価者であり、著者バイアスが不可避である。また、本手法が本論文の品質に寄与した部分と、著者の手動修正が寄与した部分の切り分けが困難である。
6.6 MAST Cross-Analysis: Architectural Validation
MAST（Cemri et al., 2025）の14失敗モードマッピング（Experiment 005）は、本手法の設計選択を外部分類体系から検証する初の試みである。92.9%の緩和率は、本手法が多くの既知の失敗モードを設計レベルで対処していることを示すが、以下の点に留意が必要である。
第1に、MASTの分類は主にコード生成・推論タスクのフレームワーク（AutoGen, CrewAI等）から導出されており、長編文書生成への直接適用の妥当性は検証されていない。第2に、「完全緩和」の判定は設計意図に基づいており、実際の運用時の緩和効果を定量的に測定したものではない。第3に、MAST以外の失敗分類体系からの検証は未実施であり、MASTの分類に含まれない失敗モードが存在する可能性がある。
未対処のTV-2（エッジケースの未検出）は構造的な盲点を示している。現在のCritic Councilは「既知の品質軸に基づく検証」を行うが、「意図的に破壊的な入力を生成して耐性を検証する」機能は持たない。Challenger層の導入は、検出パターンの拡張に寄与する可能性がある。
6.7 MoA Structural Correspondence
本手法の4層構造とMoA（Wang et al., 2024）の層構造には設計原理の共通点がある。両者とも「前層の出力を次層が多視点から評価・集約する」という原理を採用している。
差異は3点ある。（1）MoAは同質エージェントの集約であるが、本手法は品質軸別に専門分化したエージェントの合議である。（2）MoAは短い応答の品質向上を目指すが、本手法は長編文書のセッション間品質保証を目指す。（3）MoAは知識の永続化を設計に含まないが、本手法はファイルベース永続記憶により改善を蓄積する。
More Agents Is All You Need（Li et al., 2024）が示すエージェント数スケーリング法則との関係も注目される。ただし、本手法のデータは2体制から当時10体の初期多層構成への比較であり、同質エージェントの多数決ではなく、異質な専門エージェントの追加による品質軸拡大を測っている。したがって、9.3倍という検出件数の増加は、エージェント数だけの効果ではなく、役割分化・対象原稿差・査読プロトコル差を含むケーススタディ結果として解釈すべきである。
6.8 Self-Correction and External Feedback
Huang et al.（2023）の知見は、本手法の設計判断に重要な理論的根拠を与える。彼らは、LLMが外部フィードバックなしに自己修正を試みると、性能が逆に劣化する場合があることを実証した。
本手法のCritic Council（4エージェント）とReader Lab（3エージェント）は、writerに対する構造化された外部フィードバック源として機能する。exp-003の結果（66.1%の指摘が2エージェント体制では検出不可能）は、Self-Contrastの「多視点生成→不一致検出」をエージェント間分離に拡張することの有効性を示唆するものである。
ただし、Critic CouncilのエージェントもまたLLMであり、Huang et al.の指摘する「自己修正の限界」は原理的に本手法の各エージェントにも適用される。エージェント間の外部フィードバックが有効に機能するのは、各エージェントの品質軸が互いに「外部」として機能するためであり、同質エージェント間では効果が限定されると推測される。
6.9 LongWriter and Project-Level Long-Form Generation
LongWriterは、1回の生成で1万語超の出力を可能にする点で、長文生成研究の重要な進展である。しかし、書籍生成における難しさは「一度に長く出す」ことだけではない。本実験のGit履歴が示すように、長編プロジェクトでは一度増えた本文が品質ゲートによって削られ、章間整合や文体統一により再構成される。したがって、長文生成能力は必要条件ではあるが、十分条件ではない。
本手法は、単発生成の上限を押し上げるのではなく、長期プロジェクトとしての生成・検証・記憶・再設計を扱う。LongWriterが「モデルがどこまで長く書けるか」に答えるなら、本手法は「長く書いたものを、どのように壊さず育て続けるか」に答える。
6.10 Ghost Orchestrator and Governance
Ghost Orchestratorの導入は、単なる実装都合ではなく、マルチエージェントシステムのガバナンス問題への応答である。固定の中央司令塔に全判断を集めると、そのエージェントの文脈喪失や誤判断が全体に波及する。共有状態、制約、選出、検証を分離することで、オーケストレーションを個体ではなくプロトコルとして扱える。
この設計は、公開・査読に向けた再現性の観点でも重要である。読者は特定セッションの内部状態ではなく、リポジトリに残る共有状態、知識DB、実験プロトコル、Git履歴からシステムの判断過程を追跡できる。
7. Failure Analysis
5つの失敗カテゴリが階層構造をなすことを同定した。
7.1 Root Layer: Fundamental LLM Limitations
セッション切れ（Session Discontinuity）： LLMはセッション間で内部状態を保持しない。前作27セッション中、約5割で重複指摘（2割が同種）が発生した。ファイルベース永続記憶はこの問題を軽減するが、完全には解消しない。
コンテキスト汚染（Context Contamination）： 1つのLLMセッションで3章以上の修正を連続処理すると、前の章の修正内容・文脈が次の章に漏れ出し、章ごとの個性が失われる。対策として、各章ごとに個別のサブエージェントを起動するセッション分離を導入した。
7.2 Derived Layer: Cascading Effects
ルール爆発（Rule Explosion）： ルールの蓄積が進むと、LLMのコンテキストウィンドウ内で全ルールを遵守する能力が低下する。対策として、ルール優先度の定義、カテゴリ化、act-consolidated.mdへの統合、knowledge.db/KG RAGによる動的検索を導入した。
AI臭さモグラ叩き（AI-ness Whack-a-Mole）： 修正エージェントもAIであるため、AI臭さを修正する過程で別のAI臭さを導入する構造的矛盾が存在する。前作では修正の約40%がAI臭さ関連であった。ルール初期組み込みにより21%に改善し、Experiment 010ではStyle Latent SpaceとWriter Stateによりさらに低減できることを確認した。ただし、評価器もLLMであるため、最終的な文体判断には人間評価との較正が残る。
7.3 First-Person Layer: Human-Only Verifiable
捏造エピソード（Fabricated Episodes）： 著者個人の体験に関する記述は、著者本人でなければ検証できない。前作52セクション中6件（12%）が最終段階で発覚した。QAワークフローとネガティブナレッジの導入により、観測対象の著者確認・レビュー履歴では新規の著者体験捏造指摘は0件だった。
8. Limitations and Future Work
8.1 Structural Limitations
N=2のサンプルサイズ。 本実験は前作と本書の2プロジェクトのみを対象としており、統計的な有意差の検定は行えない。長編文書ゆえの実験コスト（1プロジェクトあたり約80時間）が制約要因である。
著者バイアス。 設計者=実験者=評価者であり、提案手法に有利な解釈が無意識に反映される可能性がある。第三者による追試が必要である。
ドメイン依存性。 技術書という特定ドメインでの検証に留まる。適用可能条件（事実ベース性、一貫性要求、反復改善可能性）を満たす他のドメイン（マニュアル、仕様書、学術論文など）への一般化は未検証である。
ベースラインの制約。 writer単独ベースライン（Experiment 009/009b）は実施したが、Self-Refine単体、Reflexion単体、LongWriter型パイプラインなどとの厳密なA/B比較は未実施である。また、Copilot CLIのホストエージェントが暗黙に文脈収集や構文検査を行うため、「純粋な単独writer」条件の統制には限界がある。
8.2 Future Research Directions
以下の研究課題を優先度順に挙げる。
- 対抗的テスト（Adversarial Testing）の導入（優先度S）： MAST分析で唯一未対処のTV-2に対応する。意図的に破壊的な入力や矛盾した知識を投入し、システムの耐性を検証するChallenger層を導入する。
- 第三者再現実験（優先度S）： 著者バイアスを軽減するため、別著者・別ドメイン・別リポジトリで同じプロトコルを実行する。
- 自動評価メトリクスの確立（優先度A）： 文体自然さ、事実正確性、構造的一貫性を自動評価するメトリクスの開発。Experiment 010の文体指標を人間評価と較正する。
- 標準ベンチマークの構築（優先度A）： 長編構造化文書生成の品質を定量比較するベンチマークの構築。PaperBenchは論文再現を対象としたが、書籍生成に特化したベンチマークは未整備である。
- LongWriter型パイプラインとの比較（優先度A）： 単発長文生成・分割生成パイプライン・本手法の長期査読型パイプラインを同一テーマで比較する。
- マルチモーダル査読（優先度B）： テキストに加え、図表・レイアウトの視覚的品質も検証対象とする。
- ルール爆発のスケーリング則（優先度B）： ルール数、検索深度、エージェント数、遵守能力の関係を定量化する。
- 思想ドリフト検知（優先度B）： soul.mdの価値観から knowledge.db や style-profile.json が逸脱するサイレント・ドリフトを検知する。
- エージェント間自律協調（優先度C）： Ghost Orchestratorをさらに進め、明示的制御からエージェント間の自律的交渉へ移行する。
- コンテキスト拡大の影響（優先度C）： コンテキストウィンドウの拡大が永続記憶の必要性に与える影響を分析する。
9. Conclusion
本論文では、ファイル/DBベース永続記憶、活性伝播型KG RAG、帰納的ルール抽出、15エージェント品質保証、Ghost Orchestrator、Experiment Labを統合した自律進化マルチエージェントシステムを提案し、19章・約23.2万字の技術書原稿を本システムで執筆する自己言及的実験により検証した。
主要な実験結果は以下の通りである。
- 知識ファイルの総量が5.18倍に成長し、さらにknowledge.dbに571件の型付き知識が蓄積され、セッション間知識蓄積を確認した（H1支持）。
- 帰納的ルール抽出後のAI臭さ指摘再発率が0%に到達し、Experiment 010でも改善条件がBaselineを大きく上回った（H2支持）。
- Experiment 003時点の初期多層査読構成により品質指摘が9.3倍、種別が5倍に拡大し、2エージェント体制では検出不可能な指摘が66.1%を占めた（H3支持）。
- ルール蓄積には24.7%の冗長性が含まれ、統合により49.2%のコンテキスト削減と97.3%のカバレッジ維持を実現した。
- writer単独ベースラインでは章タイプにより57.6%〜124%の出力差が観測され、Critic Councilが文脈補足・外部引用・削減判断に寄与することを確認した。
- MAST失敗分類体系との交差分析により、14の既知失敗モード中13モード（92.9%）が設計レベルで緩和されていることを確認し、唯一の未対処モード（対抗的テスト）を特定した。
これらの結果は、帰納的ルール抽出、永続知識ベース、品質観点別エージェント、実験ラボを組み合わせることで、Self-Refineのセッション内改善やReflexionのエピソード蓄積を超えて、長期プロジェクトにおける自己改善を有効に実現できる可能性を示す。
本手法はN=2のケーススタディに基づく提案であり、統計的な一般化には外部からの追試と標準ベンチマークの確立が必要である。提案手法の適用可能条件（事実ベース性、一貫性要求、反復改善可能性）を満たすドメインにおいて、第三者による検証が次の研究ステップとなる。
Reproducibility and Data Availability
本研究の主要データは、Git履歴、comments.md / comments-archive-*.md、ReviewQueue.json、BookState.json、knowledge-context/、lab/protocols/、lab/results/ に保存されている。実験プロトコルと結果はリポジトリ内のファイルとして追跡可能である。本文中の571件という知識DB統計は knowledge-context/stats.md のスナップショットに基づく。knowledge.db本体を公開アーカイブに含める場合、知識DBの要約は python scripts/build_context.py、知識検索は python scripts/kg_query.py、整合性確認は python scripts/healthcheck.py で再実行できる。DB本体を含めない公開形態では、knowledge-context/ と実験結果ファイルから再現できる範囲は知識DBの要約・統計・使用事例に限定される。
ただし、LLM呼び出しの完全ログ、プロンプト全文、モデル内部状態、GitHub Copilot経由のトークン使用量は保持されていない。そのため、APIコストと一部のモデル別挙動は推計であり、完全なビット単位再現ではなく、プロトコル再現を目標とする。
Ethics and Competing Interests
本研究は、人間著者が自身の書籍執筆プロセスを対象にした自己言及的ケーススタディであり、第三者の個人データを用いない。著者本人の体験に関する記述は、QAワークフローとネガティブナレッジにより確認対象として扱った。LLM生成物を研究成果として扱うため、著者は設計者・実験者・評価者を兼ねており、著者バイアスは本研究の主要な限界である。金銭的な利害関係は現時点で宣言すべきものはない。
References
- Bai, Y., et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
- Bai, Y., et al. (2024). LongWriter: Unleashing 10,000+ Word Generation from Long Context LLMs. arXiv:2408.07055.
- Cemri, M., et al. (2025). Why Do Multi-Agent LLM Systems Fail? arXiv:2503.13657.
- Du, Y., et al. (2023). Improving Factuality and Reasoning in Language Models through Multiagent Debate. arXiv:2305.14325.
- Hong, S., et al. (2023). MetaGPT: Meta Programming for A Multi-Agent Collaborative Framework. arXiv:2308.00352.
- Huang, J., et al. (2023). Large Language Models Cannot Self-Correct Reasoning Yet. ICLR 2024. arXiv:2310.01798.
- Li, J., et al. (2024). More Agents Is All You Need. TMLR. arXiv:2402.05120.
- Madaan, A., et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
- Packer, C., et al. (2023). MemGPT: Towards LLMs as Operating Systems. arXiv:2310.08560.
- Park, J.S., et al. (2023). Generative Agents: Interactive Simulacra of Human Behavior. arXiv:2304.03442.
- Qian, C., et al. (2023). ChatDev: Communicative Agents for Software Development. arXiv:2307.07924.
- Shinn, N., et al. (2023). Reflexion: Language Agents with Verbal Reinforcement Learning. arXiv:2303.11366.
- Starace, G., et al. (2025). PaperBench: Evaluating AI's Ability to Replicate AI Research. arXiv:2504.01848.
- Tian, Y., et al. (2024). Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing. NeurIPS 2024. arXiv:2404.12253.
- Wang, G., et al. (2023). Voyager: An Open-Ended Embodied Agent with Large Language Models. arXiv:2305.16291.
- Wang, J., et al. (2024). Mixture-of-Agents Enhances Large Language Model Capabilities. arXiv:2406.04692.
- Xi, Y., et al. (2025). OmniThink: Expanding Knowledge Boundaries in Machine Writing through Thinking. arXiv:2501.09751.
- Zelikman, E., et al. (2022). STaR: Bootstrapping Reasoning with Reasoning. NeurIPS.
- Zhang, W., et al. (2024). Self-Contrast: Better Reflection Through Inconsistent Solving Perspectives. ACL 2024. arXiv:2401.02009.
- Zhong, W., et al. (2023). MemoryBank: Enhancing Large Language Models with Long-Term Memory. arXiv:2305.10250.
- Zhou, A., et al. (2023). Language Agent Tree Search Unifies Reasoning Acting and Planning in Language Models. arXiv:2310.04406.