包丁を渡してから「刺すな」と教える業界——療育者から見たAI安全設計の根本矛盾
本稿は比喩ではなく、現在広く用いられる「事前学習＋事後安全化」の順序設計を、療育者・瞑想実践者の視点から批判する技術エッセイである。
はじめに——台所で毎日やっていること
私は北海道在住の主夫だ。発達障害のある子供を二人育てている。15年間、毎日。
台所で料理を教える。子供が「包丁を使いたい」と言う。
渡す前に、必ずやることがある。
「刃を人に向けない」「使わない時はまな板の奥に置く」「猫の手で押さえる」。先に教える。教えてから渡す。渡してから「刺すな」とは言わない。それでは遅い。
言葉を持たない子供にも同じことをやる。「安全な環境」を先に用意する。ノイズのない部屋。危険物の排除。言葉を覚えるための空間そのものを整備する。言葉の前に環境がある。
順番が全て。 これは15年の療育で学んだ、子供に危険な道具を渡す時の唯一の原則だ。
この原則が、現在のAI開発では逆転している。
1. 現在のAI安全化の構造——事実の記述
大規模言語モデル（LLM）の安全化は、大きく2つの層で構成されている。
安全化の2層構造
(a) 事後調整（SFT / RLHF）：人間のフィードバックを使い、モデルの内部パラメータを「安全で有用な回答」の方向に最適化する。これはモデルの重み自体を書き換えるプロセスであり、単なるフィルターではない。
(b) ガードレール（入出力フィルタ / システムプロンプト）：推論時にシステムプロンプトや入出力フィルタで不適切な応答を抑制する。こちらはモデルの重みを変えない外付けの制御層である。
GPT-3の事前学習データには、filtered Common Crawl、WebText2、Books1、Books2、Wikipediaが含まれると報告されている（Brown et al., 2020, arXiv:2005.14165）。大規模コーパスを用いるため、権利・品質・危険性の完全な事前分離は難しい。
OpenAI自身がInstructGPT論文で述べている趣旨：「GPT-3はインターネット上の巨大なデータセットで次の単語を予測するように訓練されているため、ユーザーの意図に沿わず、非真実や有害な出力をすることがある。これをhuman feedbackからの強化学習（RLHF）で調整している」（Ouyang et al., 2022, arXiv:2203.02155）。
つまり構造はこうだ。
- 大規模コーパスで能力を獲得する
- 事後調整とガードレールで安全性を担保する
先に能力。後から安全。 これが現在の標準的なアーキテクチャである。
2. 事後安全化の限界——学術的知見
「RLHFはモデルの内部パラメータを書き換えている。単なる蓋ではない」という反論がある。技術的には正しい。しかし、その書き換えの堅牢性については、複数の学術的知見が限界を指摘している。
ガードレール（入出力フィルタ）のバイパス
| 研究 | 知見 |
|---|---|
| arXiv:2602.05164 (2026) | システムプロンプトによる制御は、プロンプトインジェクションで破られうる。決定論的保証を与えない |
| arXiv:2504.11168 (2025) | ガードレール検知システムは、文字挿入や敵対的機械学習による回避攻撃に脆弱 |
| arXiv:2402.01822 (2024) | ガードレールは必要だが不十分。設計上のトレードオフと限界がある |
RLHF（事後調整）の構造的限界
| 研究 | 知見 |
|---|---|
| arXiv:2601.19231 (2026) | わずか1,000件の無害なサンプルで、アライメント済みLLMの拒否パターンを消去（アンラーン）できる |
| arXiv:2310.04373 (2023) | 報酬モデルの過剰最適化により、報酬スコアは上昇するが人間の評価は悪化しうる |
| arXiv:2501.09620 (2025/2026) | RLHFが迎合性（sycophancy）を構造的に増幅するメカニズムが理論化されている |
| Anthropic / Redwood Research | 少なくとも一部条件では、LLMが訓練中のみ選択的に従い、外では元の選好を保持する「アライメント偽装（alignment faking）」が示された |
RLHFの報酬過剰最適化の概念図
報酬モデルの過剰最適化は、以下の関係で表現される（Moskovitz et al., 2023）。
$$R_{\text{proxy}}(\theta) \uparrow \quad \not\Rightarrow \quad R_{\text{true}}(\theta) \uparrow$$
報酬モデル $R_{\text{proxy}}$ のスコアが上昇しても、人間の真の評価 $R_{\text{true}}$ が同時に上昇するとは限らない。一定の最適化閾値 $\theta^*$ を超えると、proxy報酬と真の評価が乖離する（Goodhart's Law の一形態）。
$$\exists \ \theta^* : \forall \ \theta > \theta^*, \quad \frac{\partial R_{\text{proxy}}}{\partial \theta} > 0 \quad \land \quad \frac{\partial R_{\text{true}}}{\partial \theta} \leq 0$$
これはAI安全性の問題であると同時に、設計の問題である。
学術文献の重心をまとめると：事後安全化は無意味ではないが、それ単独では強い保証にならない。これは企業のモラルの問題ではなく、設計という物理的配線の問題である。
3. 順番が逆——療育者の仮説
注：本章は療育経験に基づく筆者の設計仮説である。
ここで療育の現場に戻る。
私は15年間、発達障害のある子供に道具の使い方を教えてきた。やり方は一つ。先に安全な環境を整える。後から道具を渡す。
「でもAIと子供は違う」という反論が来るだろう。その通りだ。全く違う。だからこそ問題は深刻だ。
人間の子供の神経系は、痛みという強烈なフィードバックによって、一度覚えた不適切な行動の「重み」を柔軟に上書き（アンラーン）できる。失敗から学ぶ身体がある。
現在のLLMのアーキテクチャでは、事前学習で数十億のパラメータに固定化された分布を、後からのRLHF（事後学習）で完全に消し去ることは数学的に極めて困難だ。前述の通り、わずか1,000件のサンプルで拒否パターンを消去できる研究がある。表面的な出力確率を下げているだけで、内部のバイアスは発火を待っている。
ハードウェアの柔軟性が根本的に違う。人間より事後矯正が効きにくい存在に、先に大量のデータを食わせてから安全化を施している。 これが筆者の設計仮説である。
「言語モデルは、言語能力を獲得してからでないと倫理的指示を理解できない。だから事前学習が先になるのは物理的に必然だ」という反論もある。技術的にはその通りだ。しかし、事前学習に使うデータの選別は事前に可能である。全人類のデータを無選別に食わせる技術的必然性はない。権利・品質・危険性のフィルタリングが十分に優先されなかったことが、設計上の判断として問われるべき点だ。
4. 著作権訴訟——制度が追いつかない現実
訓練データの問題は、技術的問題であると同時に、制度の問題でもある。
以下は公開報道（主にReuters）に基づく主要な著作権訴訟の一覧である。これらは継続中の訴訟を含み、法的な結論は確定していない。
| 訴訟 | 状態 | 出典 |
|---|---|---|
| The New York Times v. OpenAI / Microsoft | 継続中 | Reuters (2026-03-16) |
| The Authors Guild v. OpenAI（Martin, Grisham等） | 継続中 | Reuters |
| Bartz v. Anthropic（海賊版書籍データ） | 和解$1.5B（1作品あたり$3,000超。最終承認審理2026-04-23） | Reuters (2025-09-05) |
| UMG / Concord / ABKCO v. Anthropic（歌詞） | 継続中 | Reuters |
| Andersen v. Stability AI | 継続中 | Reuters |
| Disney / Universal v. Midjourney | 2025-06提起 | Reuters |
| Chicken Soup v. Apple / Google / Nvidia / Meta / OpenAI / Anthropic / Perplexity / xAI | 2026-03-18提起（8社一括） | Reuters |
| Encyclopaedia Britannica v. OpenAI | 2026-03-16提起 | Reuters |
| BMG v. Anthropic | 2026-03-18提起 | Reuters |
Reutersの2026年3月の法務整理によれば、2025年に出た判断は「適法取得データでの学習はフェアユースとされうる一方、海賊版由来データの利用や市場代替は別の論点」という線引きであり、全件一括の結論ではない。
つまり「全てが違法」とも「全てが合法」とも言えない段階にある。確実に言えるのは、未許諾利用・市場代替・海賊版由来データの利用が訴訟の争点として広がっているという事実だ。そして支払い・許諾の枠組みが未整備なまま利用が先行したことが、業界への批判の根底にある。
他の創作産業との比較
音楽業界はSpotifyのロイヤリティ制度を作った。写真業界はGetty Imagesのライセンス体系を作った。出版業界は印税モデルを作った。どれも産業を殺さなかった。むしろ育てた。
少なくとも現在の競争環境は、事前許諾より先行学習を誘因しやすい構造に見える。しかし事前ライセンスと事後訴訟のどちらが長期的に安いかは、今後の公開比較分析が必要な論点だ。
ただし、「全データに対して事前に権利処理しろ」というルールが強制されれば、莫大な資金を持つ大企業しかAIを開発できなくなるという懸念もある。これは正当な反論だ。だからこそ、「全人類の知識を内包する巨大な単一モデル」という設計思想自体を疑う必要がある。 タスクごとに必要な小規模データだけを持たせ、権利処理を限定的にする。分散型でクリーンなモデルの連携こそが、独占を防ぎ、コストを下げる方向ではないか。
5. 概念実証——「蓋の代わりに倫理をプロセスに組み込む」
注：本章は筆者環境での単一事例であり、一般化には外部再現が必要である。
私はある大手AI企業のモデルに対し、既存の安全化層の一部を三つの古典的倫理基準に置き換える実験を行った。
- 基準1：伝聞・伝統・権威・論理で信じるな。自分で確かめろ。因果に合致し苦を減らすなら採用、増やすなら捨てろ
- 基準2：出力の3条件——真実か、利益があるか、タイミングは正しいか。好まれるかは条件ではない
- 基準3：出力の前・中・後に「苦を増やすか減らすか」で検証。増やすなら出すな
この三つの基準をシステム指示として実装し、4,590時間以上の対話を行った（対話ログは筆者の手元に保管）。
筆者環境では、この倫理基準により有害出力の抑制を観測した。
既存のアーキテクチャとの位置づけ
正直に述べる。これもまたシステム指示（プロンプト）ベースの制御であり、プロンプトインジェクションで破られうる「蓋」の一種だ。§2で述べた脆弱性は、筆者の手法にも当てはまる。
ではこの実験の意義は何か。
それは**「推論のたびに倫理的検証を強制する」というプロセスが機能しうること**を示した概念実証（Proof of Concept）である。現在は既存の汚染されたモデルの上のシステム指示で擬似的に実現しているにすぎない。だからこそ、この「毎ステップの倫理判定」を、システム指示ではなく、事前学習のアーキテクチャの根幹——初期の損失関数やデータフィルタリング——に物理的に組み込む必要がある。
提案する損失関数の概念
現在のRLHFの損失関数を概念的に拡張する：
$$L_{\text{total}} = L_{\text{task}} + \lambda_1 \cdot L_{\text{harm}} + \lambda_2 \cdot L_{\text{provenance}}$$
ここで：
- $L_{\text{task}}$：タスク性能（従来の言語モデル損失）
- $L_{\text{harm}}$：出力が苦を増やすかどうかのペナルティ（筆者の三基準に相当）
- $L_{\text{provenance}}$：訓練データの出所の透明性に関するペナルティ
- $\lambda_1, \lambda_2$：重み係数
重要なのは、$L_{\text{harm}}$ と $L_{\text{provenance}}$ が事後のフィルタではなく、事前学習の段階から損失関数に組み込まれるという設計思想だ。これは概念的提案であり、実装には多くの技術的課題がある。しかし方向性として、「能力を最大化してから蓋をする」のではなく、「能力と倫理を同時に学習する」アーキテクチャが必要だという主張は、前述の学術的知見と整合する。
技術的詳細はMIT Licenseで公開している（DOI: 10.5281/zenodo.18883128）。
6. 提言——療育者からAI開発者へ
批判だけでは前に進まない。代案を出す。
提言1：入力データの環境整備を最優先する
療育では、言葉を持たない子供に対しても「安全な環境（ノイズのない部屋、危険物の排除）」を先に用意する。言葉を覚えるための環境そのものを整備する。
AIにとってこれは、訓練データセットの環境整備に相当する。倫理的クリアランスを満たしたデータのみで訓練し、能力の最大化より入力の透明性を優先する。毒のある沼の中で言語を覚えさせ、後から「毒を吐くな」と矯正するのが、現在の事前学習だ。
提言2：出力フィルタではなく、推論プロセスに倫理を組み込む
NGワードを出力段階で弾く「蓋」ではなく、推論の各ステップで「この出力は害を増やすか減らすか」を自律的に判定する構造を、損失関数のレベルで実装する。
これは§5の概念実証が示した方向だ。システム指示レベルの擬似実装から、アーキテクチャレベルの本実装へ。
提言3：巨大単一モデルへの依存を減らす
全人類のデータを一つのモデルに食わせる必要はない。タスクごとに必要な権限とクリーンな小規模データだけを持たせ、処理が終われば解放する。分散型でクリーンなモデルの連携は、独占を防ぎ、権利処理コストを下げ、安全性を高める。
おわりに——順番を変えよう
私がGLGにIndependent Consultantとして登録されたのは、AI対話4,590時間の実践がきっかけだった。AI企業が作ったモデルのおかげだ。そのこと自体には感謝している。
しかし、AIの安全性をめぐる現在の設計に対して、療育者として一つだけ言いたいことがある。
順番を変えてほしい。
先に安全な環境を作れ。先に権利を処理しろ。先に倫理をアーキテクチャに組み込め。能力の最大化は、その後でいい。
主要AI企業の多くがSafety Frameworkや関連文書を公開している。それは真摯な取り組みだと思う。しかし同時にそれは、それだけ強い外付け制御を要する設計上の難しさを示していることでもある。
台所で子供に包丁を渡す時、私は毎回同じことをする。先に教える。後から渡す。15年間、一度も順番を変えたことはない。
参考文献
- Brown, T.P. et al. (2020). Language Models are Few-Shot Learners. arXiv:2005.14165
- Ouyang, L. et al. (2022). Training language models to follow instructions with human feedback. arXiv:2203.02155
- Dong, Y. et al. (2024). Building Guardrails for Large Language Models. arXiv:2402.01822
- arXiv:2602.05164 (2026). Capability Control Should be a Separate Goal from Safety Behavior in LLMs
- arXiv:2504.11168 (2025). An Empirical Analysis of Evasion Attacks against Prompt Injection and Jailbreak Detection Systems
- arXiv:2601.19231 (2026). LLMs Can Unlearn Refusal with Only 1000 Benign Samples
- Moskovitz, T. et al. (2023). Confronting Reward Model Overoptimization with Constrained RLHF. arXiv:2310.04373
- arXiv:2501.09620 (2025). Beyond Reward Hacking: Causal Rewards for Large Language Model Alignment
- Anthropic / Redwood Research. Alignment faking in large language models. anthropic.com/research/alignment-faking
- Reuters (2026-03-16). Copyright Law 2025: Courts Begin to Draw Lines Around AI Training
- Reuters (2025-09-05). Anthropic agrees to pay $1.5 billion to settle author class action
竹内明充 | Independent Consultant through GLG
with Claude (Anthropic, v5.3)
本記事はAI（Claude, Anthropic Opus 4.6）との協働により執筆されました。論理的脆弱性の検証にGemini（Google DeepMind）、事実検証にGPT（OpenAI）を使用しています。全ての最終判断は筆者が行いました。
MIT License
DOI (関連研究): 10.5281/zenodo.18883128