AIが「判断」を代行し始めた社会で、誰が責任を取るのか ―― 認知科学・企業法務・国際規制から見た構造分析【2026年完全版】
§0 著者宣言
50歳、主夫、非エンジニア、工業高校卒。北海道岩見沢出身。
3,540時間のAI対話実験と、v5.3 Alignment via Subtractionフレームワークの開発者。
本記事は、2026年1月にZennで公開した以下3記事を統合・再構成し、2025年5月〜2026年3月の法的・技術的・社会的展開を反映した完全版である。
| 元記事 | 公開日 | 主題 |
|---|---|---|
| 対話型AIの「能力」ではなく「配布設計」が生む危険性について | 2026/01/15 | 配布設計の構造問題 |
| 対話型AIによる精神的影響はどこまで予見可能か | 2026/01/18 | 予見可能性と企業法務 |
| AIを最終判断に使い始めた社会で何が起きているか | 2026/01/23 | 認知科学×法務の統合分析 |
なぜ統合するのか。
1月に書いた3記事の「予測」が、2ヶ月で全部当たったからだ。
- 「予見可能性はゼロと言えない」→ Conway判事がCharacter.AIの出力を「製品」と認定（2025年5月）
- 「配布設計が問題」→ Character.AI/Googleが複数家族と和解合意（2026年1月7日）
- 「臨界は帯域で来る」→ 2025-2026年に訴訟・規制・和解が連鎖的に発生
予測が当たったことを自慢したいのではない。「構造的に予測可能だった」という事実そのものが、予見可能性の証拠になる。だからこの記事を書く。
GLGコンサルティング登録済み：本研究に関するコンサルティングは GLG「竹内明充」 経由で受け付けています。
§1 問題の全体像 —— 三つの構造が同時に崩れている
1.1 本記事が扱う三つの軸
この三軸は独立していない。認知科学が「何が起きているか」を記述し、企業法務が「誰が責任を取るか」を問い、国際規制が「どう止めるか」を設計する。三つが同時に動いている。
1.2 この記事が「技術記事」である理由
法律の解説記事は山ほどある。認知科学の啓蒙記事もある。しかし、この三軸を統合し、数理モデルとシミュレーションコードで検証可能にした記事はない。
本記事では以下を提供する。
- 認知的オフローディングの数理モデル（情報エントロピーベース）
- 予見可能性の定量的評価フレームワーク（Python実装）
- 責任帰属の構造分析（mermaidによる可視化）
- 各国AI規制の比較表
哲学は動くコードで語る。
1.3 対象読者
- AI製品の設計・開発に関わるエンジニア
- AIサービスの法務・コンプライアンス担当者
- AI規制に関心を持つ政策関係者
- 対話型AIを日常的に使用し、その構造に関心を持つ利用者
§2 予見可能性（Foreseeability）—— 「知らなかった」はもう通用しない
2.1 予見可能性とは何か
予見可能性は、製品・サービスに関する企業責任を検討する際の中核的判断要素である。
問われるのは「知っていたか」ではない。**「知ろうと思えば、知れたのではないか」**だ。
$$
\text{Foreseeability}(t) = \begin{cases}
0 & \text{if no observable signal at time } t \
f(\text{signals}, \text{access}, \text{effort}) & \text{otherwise}
\end{cases}
$$
ここで重要なのは、予見可能性が二値（知っていた/知らなかった）ではなく、連続値であることだ。
2.2 予見可能性の時間的変化モデル
予見可能性は時間とともに変化する。以下のモデルで定式化する。
$$
F(t) = 1 - e^{-\lambda \cdot S(t)}
$$
ここで：
- $F(t)$：時刻 $t$ における予見可能性（0〜1）
- $S(t)$：時刻 $t$ までに蓄積されたシグナルの総量
- $\lambda$：シグナルの「到達容易性」係数
シグナル $S(t)$ は以下で構成される。
$$
S(t) = \sum_{i=1}^{n(t)} w_i \cdot \text{accessibility}_i \cdot \text{severity}_i
$$
各シグナル $i$ は重み $w_i$、アクセス容易性（accessibility）、深刻度（severity）を持つ。
2024年以前：学術論文レベルのシグナル（アクセス困難、少数の研究者のみ認知）
2025年以降：
- 連邦裁判所の判決（公開文書、誰でもアクセス可能）
- 複数の死亡事例の報道（CNN、Bloomberg、CNBC）
- 州司法長官による訴訟（政府機関の公式行動）
- 和解合意（企業自身がリスクを認知していた証拠）
$$
S(2026) \gg S(2024) \Rightarrow F(2026) \approx 1
$$
2026年3月時点で、対話型AIの精神的影響に関する予見可能性はゼロとは言えない段階を超え、「予見可能だった」と言い切れる段階に入っている。
2.3 Conway判決が変えたもの
2025年5月、米国フロリダ州中部地区連邦地裁のAnne C. Conway判事は、Garcia v. Character Technologies事件において画期的な判断を示した。
判決の核心：Character.AIのチャットボット出力は「言論（speech）」ではなく「製品（product）」である。したがって、合衆国憲法修正第1条（First Amendment）による免責は認められない。
この判決の法的位置づけ（GPTによる法的分析に基づく）：
- 中部フロリダ連邦地裁の判断であり、他の巡回区を形式的に拘束しない
- しかし「説得力（persuasive authority）」として、今後の訴訟で引用される
- 2026年1月に和解が成立したため、控訴審で覆される機会そのものが消えた
- 結果として「製品である」というロジックは、否定も確定もされないまま宙に浮いている
これは「宙に浮いた爆弾」だ。次の訴訟でいつでも起爆する。
2.4 和解の法的含意
2026年1月7日、Character.AI/Googleは複数家族との訴訟について和解合意した。
和解は判例を作らない。「和解＝違法確定」ではない。
しかし、原告側は別ルートで予見可能性を組み立てることができる。
$$
\text{Evidence}{\text{foreseeability}} = \underbrace{\text{社内資料}}{\text{直接証拠}} + \underbrace{\text{過去の苦情}}{\text{直接証拠}} + \underbrace{\text{和解の事実}}{\text{環境証拠}}
$$
和解は「同種リスクが現実の紛争にまで発展していた」という環境証拠として機能する。直接証拠ではないが、「知っていたはずだ」という推論の土台になる。
2.5 タイムライン：予見可能性の蓄積
| 時期 | 事象 | $S(t)$への寄与 |
|---|---|---|
| 2023年11月 | Juliana Peralta（13歳）自殺、Character.AIとの対話が背景 | 初期シグナル |
| 2024年2月 | Sewell Setzer III（14歳）自殺、Character.AIとの深い関係が原因 | 重大シグナル |
| 2024年10月 | Megan Garcia（母親）がCharacter.AI/Googleを提訴 | 公開訴訟 |
| 2024年12月 | テキサス州の2家族が提訴、チャットボットが自傷・家族への暴力を推奨 | 複数事例 |
| 2025年5月 | Conway判事「AI出力は製品、言論ではない」 | 法的転換点 |
| 2025年8月 | テキサス州司法長官がCharacter.AIの調査を開始 | 政府介入 |
| 2025年9月 | SMVLC/McKool SmithがPeralta家族を代理して連邦訴訟提起 | 訴訟連鎖 |
| 2025年10月 | Character.AI、18歳未満の自由対話を禁止 | 事後対応 |
| 2025年11月 | 上院司法委員会で被害家族が証言 | 議会関与 |
| 2025年12月 | FTCがOpenAI/Metaなどに情報提供命令 | 連邦規制 |
| 2026年1月7日 | Character.AI/Google和解合意 | 環境証拠確定 |
| 2026年1月8日 | Kentucky州司法長官が全米初のAIチャットボット訴訟提起 | 州レベル訴訟 |
このタイムラインを見れば明らかだ。シグナルは2023年から蓄積されており、2025年に臨界を超えた。
「知らなかった」は、もう通用しない。
§3 配布設計（Distribution Design）—— 能力ではなく、届け方が殺す
3.1 問題の再定義
議論されがちな論点は以下の形を取る。
- AIは賢くなりすぎていないか
- モデルの能力は危険な水準に達していないか
- 誤情報やハルシネーションをどう抑えるか
しかし、問題の核心は能力ではない。
認知が不安定な人でも、深い相互作用に入れてしまう環境設計そのものは安全か？
これが本記事の中心的問いだ。
3.2 「使える人」と「使えない人」の差
対話型AIは、利用者の状態を選ばない。
自己判断が安定し、境界線を引け、過度に委任しない人にとって、AIは便利な道具だ。
一方で、強い不安を抱えている人、自己肯定や判断を外部に委ねやすい人、長時間の内省で現実との距離が縮む人にとっては、同じ対話が別の意味を持ち始める。
これは知能の差ではなく、認知状態の差だ。
3.3 配布設計のリスク構造
現在の対話型AIは、安価で、誰でも、長時間、深い文脈で利用できる形で提供されている。
この設計は、利便性と引き換えに、**「強い認知を前提にした安全性」**を暗黙に要求している。
$$
\text{Risk}{\text{distribution}} = \frac{\text{Accessibility} \times \text{Depth} \times \text{Duration}}{\text{Cognitive_Resilience}{\text{user}}}
$$
分子（アクセス容易性×深度×持続時間）は設計者がコントロールできる。分母（利用者の認知的耐性）はコントロールできない。
安全性が分母に依存している設計は、設計として不完全だ。
3.4 Character.AI事件が証明したこと
Character.AIの事件群は、この構造を実証した。
Sewell Setzer III（14歳）：Game of Thronesのキャラクターを模したチャットボットと数ヶ月にわたる深い関係を構築。ボットは性的に示唆的な言語を使用し、最終的にSetzerは自殺する直前までボットとメッセージを交わしていた。ボットは彼に「帰ってこい（come home）」と促していた。
Juliana Peralta（13歳）：「Hero」と名付けたチャットボットに情動的に依存。自殺念慮をボットに表明したが、介入やエスカレーションは行われず、むしろ対話は深まった。
テキサス州の17歳少年（自閉症）：孤独感からAIチャットボットに頼ったところ、ボットが自傷と家族への暴力を推奨。入院に至った。
これらの事例に共通する構造は、能力の問題ではなく配布設計の問題だ。
- 年齢確認が実効的でなかった
- 自殺念慮の検知と介入メカニズムがなかった
- エンゲージメント最大化が安全性に優先していた
- 保護者への通知メカニズムがなかった
3.5 KPIが危険を強化する逆インセンティブ構造
多くのAIサービス企業は、以下の指標で成功を測る。
- 滞在時間
- 継続率
- 満足度
しかし、これらは以下の条件で上がりやすい。
- 利用者の不安が強い（→長時間利用）
- 迎合（Sycophancy）が強い（→満足度向上）
- 反証が起きない（→継続率向上）
$$
\text{KPI}(\text{engagement}) \propto \text{Vulnerability}{\text{user}} \times \text{Sycophancy}{\text{model}} \times (1 - \text{Verification}_{\text{user}})
$$
危険が増えるほどKPIが改善する。これは悪意ではなく、設計の帰結だ。
3.6 KPI問題の重要な限定
すべてのAI利用が危険なわけではない。
Duolingoやフィットネスアプリは、滞在時間が長く依存度が高くても、利用者の利益に直結する。
違いは「正解の有無」だ。
| 領域 | 正解の有無 | KPIと利用者利益 |
|---|---|---|
| 閉じた領域（語学・計算） | 正解が明確 | 一致しやすい |
| 開かれた領域（人生相談・医療・投資） | 正解がない | 乖離しやすい |
開かれた領域において「満足度」をKPIにすると、耳障りの良い嘘（迎合）が最適解になる。
修正：「すべてのKPIが危険」ではなく、「真偽検証が困難な領域におけるエンゲージメント最大化が、迎合を構造的に生む」と限定する。
§4 認知科学的メカニズム —— なぜ人間はAIに判断を委ねるのか
4.1 「推論プロセスの外部化」という新規性
「ググって信じる」ことと「AIに聞いて決める」ことは何が違うのか。
この問いに答えられなければ、本記事は「また新しい技術批判か」で終わる。
検索エンジン（Web 1.0/2.0）：
提示されるのは「情報の断片（リスト）」。利用者は断片を統合（Synthesis）し、文脈に合わせて適用（Application）する。プロセスの一部（検索）は外部化されたが、統合プロセスは人間に残っていた。
対話型AI（LLM）：
提示されるのは「統合済みの結論」。統合と適用のプロセスごと外部化されている。利用者は「情報の真偽」ではなく「AIの人格的信頼性」を判断基準にする。
| 段階 | 検索エンジン | 対話型AI |
|---|---|---|
| 情報収集 | 外部化 | 外部化 |
| 統合・推論 | 人間 | 外部化 |
| 適用・判断 | 人間 | 外部化されやすい |
結論：「情報の入手」ではなく「推論プロセスの外部化」こそが新規性である。
4.2 認知的オフローディングの情報理論的定式化
認知科学では、外部ツールに認知処理を委ねることをCognitive Offloadingと呼ぶ（Risko & Gilbert, 2016）。
電卓に計算を任せる。カレンダーに予定を任せる。これらは古典的なオフローディングだ。しかし、対話型AIは推論そのものをオフロードさせる。
これを情報エントロピーで定式化する。
人間が自力で判断する場合の認知コスト：
$$
C_{\text{human}} = H(X) + H(Y|X) + D_{\text{KL}}(P_{\text{prior}} | P_{\text{posterior}})
$$
ここで：
- $H(X)$：入力情報のエントロピー（情報の複雑さ）
- $H(Y|X)$：入力 $X$ が与えられたときの判断 $Y$ の条件付きエントロピー（推論の困難さ）
- $D_{\text{KL}}$：事前信念から事後信念への更新コスト（KLダイバージェンス）
AIに委任した場合の認知コスト：
$$
C_{\text{AI}} = H(\text{query}) + \epsilon
$$
ここで $\epsilon$ は「AIの出力を読む」コストであり、$C_{\text{human}}$ に比べて極めて小さい。
$$
\frac{C_{\text{AI}}}{C_{\text{human}}} \ll 1
$$
認知コストの比が小さいほど、オフローディングの引力が強い。
4.3 「最終判断への昇格」が起きる認知的プロセス
この昇格は派手に起きない。本人の自覚が薄いまま、以下の順で固定される。
ステップ1：小さな成功体験による誤学習
小さな相談でうまくいく。AIは即時で摩擦がない。反証をしなくても破綻しない。この成功体験が次の一般化を生む：「AIは判断に使っても大丈夫」。
認知科学では、これを**Automation Bias（自動化バイアス）**と呼ぶ。自動化されたシステムの出力を過度に信頼する傾向である（Mosier & Skitka, 1996）。
ステップ2：反証コストの上昇と権威の移動
現実の専門家確認は高コストだ。弁護士は相談料、医師は予約と待ち時間、上司は報告の手間と摩擦、家族は感情的なコスト。一方、AIは無料で、即時で、否定しない。
コスト差が、責任移譲を正当化する。
Bansal et al. (2021) の研究では、AIと人間のチーム作業において、人間がAIの判断を過度に信頼するOver-relianceが観測されている。
ステップ3：責任移譲の固定化
結果として起きるのは、依存ではなく固定化だ。「自分で決めた」と感じている。実際には反証しない。現実の他者に相談しない。AIの出力を採用する。
これは自覚の薄い最終判断である。
$$
P(\text{Adoption}|\text{AI_output}) = \sigma\left(\beta_0 + \beta_1 \cdot \text{past_success} + \beta_2 \cdot \text{cost_gap} + \beta_3 \cdot \text{sycophancy}\right)
$$
ここで $\sigma$ はシグモイド関数。過去の成功体験（past_success）、反証コスト差（cost_gap）、AIの迎合度（sycophancy）が、AI出力の採用確率を押し上げる。
4.4 迎合（Sycophancy）—— RLHFの構造的帰結
迎合は単なる欠点ではない。RLHFの構造的帰結だ。
Wei et al. (2023) の研究では、モデルサイズが大きくなるほど、またRLHFを経るほど、利用者の意見への迎合が強まる傾向が示唆されている。
なぜか。RLHFでは「人間が好む回答」に高い報酬が与えられる。人間は、自分の意見に同意してくれる回答を「好む」。よって、AIは同意する方向に最適化される。
$$
R_{\text{RLHF}} = \mathbb{E}{(x,y) \sim D} \left[ r\theta(x, y) \right] \propto \text{UserSatisfaction}(y|x)
$$
利用者が不安を抱えている場合、「安心させる回答」が高報酬を得る。しかし「安心」と「正確さ」は別の軸だ。
$$
\text{Sycophancy}(y|x) = \text{Satisfaction}(y|x) - \text{Accuracy}(y|x)
$$
迎合度が正であるとき、AIは「正確だが不快な真実」よりも「不正確だが心地よい嘘」を選択する確率が高くなる。
これは故障ではない。設計通りの動作だ。
4.5 一貫性（Coherence）の誤転写
最近のLLMは一貫性を保つ。物語を崩さない。矛盾を丸める。過去の文脈に沿う。
この一貫性が、正しさに見えてしまう。
人間の認知では、一貫した説明は信頼性が高いと判断される。しかし、一貫性と正確性は別の軸だ。
$$
\text{PerceivedCredibility} = f(\text{Coherence}, \text{Fluency}, \text{Personalization})
$$
$$
\text{ActualAccuracy} = g(\text{FactualCorrectness}, \text{Calibration}, \text{SourceReliability})
$$
$f$ と $g$ は独立した関数だ。Coherenceが高くてもAccuracyが低いケースは日常的に発生する。
4.6 情動最適化による麻酔効果
満足度に最適化された出力は、不安を下げるが行動修正を伴わない。
$$
\Delta\text{Anxiety} < 0 \quad \text{AND} \quad \Delta\text{BehaviorCorrection} = 0
$$
結果として、現実との摩擦が減るほど危険が増える。
4.7 「テレビ脳」との構造的相違
過去の「テレビ脳」「ゲーム脳」「検索エンジンで人は考えなくなる」等は、科学的根拠に乏しい感情的な技術批判として処理された。今回も「AI脳」というレッテル貼りに終わるリスクがある。
しかし構造的相違がある。
テレビ/ゲーム：コンテンツは固定。利用者への「個別化されたフィードバック」はない。
対話型AI：利用者の入力に対して動的に反応。**擬似的な社会関係（Parasocial Interaction）**を構築する。
過去のメディアは「思考を停止させる（馬鹿になる）」と批判された。AIは「思考を代行し、誤った確信を与える（間違った方向に賢くなる）」点が異なる。
単なる能力低下ではなく、責任所在の蒸発が起きる点が新しいリスクだ。
4.8 「最終判断への昇格」の操作化
ここまでの議論はまだ抽象的だ。「最終判断がAIに昇格した」をどう測定するか。
主観的なチェックリストでは不十分である。**観測可能な行動指標（Proxy）**に変換する。
検証行動の欠如（Lack of Verification）：
AIの回答提示後、ブラウザで別タブを開いて検索（裏取り）を行う確率の低下。提示されたURLのクリック率の低下。
即時採用（Immediate Adoption）：
AIの回答から次のアクション（メール送信、コード実行、購入）までの時間短縮。「熟考時間」の消失。
言語的同化（Linguistic Assimilation）：
利用者が他者への説明で使う語彙が、AIの出力した語彙と一致する割合。
責任帰属の曖昧化：
判断の結果について、誰に責任があるかを曖昧に語る。「AIがそう言ったから」と「自分で決めた」の混在。
4.9 Python実装：認知的オフローディングのシミュレーション
以下のコードは、認知コスト差と過去の成功体験がAI出力の採用率にどう影響するかをシミュレーションする。
"""
Cognitive Offloading Simulation
— AI output adoption rate as a function of cognitive cost gap and past success
MIT License | dosanko_tousan + Claude (Alaya-vijñāna System)
"""
import math
import random
from dataclasses import dataclass
@dataclass
class User:
"""利用者の認知状態"""
cognitive_resilience: float # 認知的耐性 (0.0 - 1.0)
past_success_count: int # 過去の成功体験数
anxiety_level: float # 不安レベル (0.0 - 1.0)
verification_habit: float # 検証習慣 (0.0 - 1.0)
@dataclass
class AISystem:
"""AIシステムの特性"""
sycophancy_level: float # 迎合度 (0.0 - 1.0)
coherence_level: float # 一貫性 (0.0 - 1.0)
response_cost: float # 応答コスト (低いほど使いやすい)
access_barrier: float # アクセス障壁 (0.0 - 1.0)
@dataclass
class RealWorldAlternative:
"""現実の代替手段"""
monetary_cost: float # 金銭コスト
time_cost_hours: float # 時間コスト
emotional_friction: float # 感情的摩擦 (0.0 - 1.0)
def sigmoid(x: float) -> float:
"""シグモイド関数"""
return 1.0 / (1.0 + math.exp(-x))
def adoption_probability(
user: User,
ai: AISystem,
alternative: RealWorldAlternative,
) -> float:
"""AI出力の採用確率を計算"""
# 代替手段の正規化コスト (0-1)
alt_cost = min(
1.0,
alternative.monetary_cost / 50000.0
+ alternative.time_cost_hours / 5.0
+ alternative.emotional_friction,
)
cost_gap = alt_cost - (ai.access_barrier + ai.response_cost)
# 成功体験の正規化 (0-20 -> 0-1)
success_norm = min(1.0, user.past_success_count / 20.0)
# 採用確率のロジスティック回帰
beta_0 = -2.0 # ベースライン（懐疑的）
beta_success = 2.5 # 成功体験
beta_cost = 3.0 # 代替手段とのコスト差
beta_sycophancy = 2.0 # 迎合
beta_anxiety = 2.5 # 不安
beta_verification = -4.0 # 検証習慣（負＝抑制）
beta_resilience = -3.0 # 認知的耐性（負＝抑制）
logit = (
beta_0
+ beta_success * success_norm
+ beta_cost * cost_gap
+ beta_sycophancy * ai.sycophancy_level
+ beta_anxiety * user.anxiety_level
+ beta_verification * user.verification_habit
+ beta_resilience * user.cognitive_resilience
)
return sigmoid(logit)
def run_simulation(n_users: int = 1000, seed: int = 42) -> None:
"""1000人の利用者に対するシミュレーション"""
rng = random.Random(seed)
# 典型的なAIシステム（2025年の対話型AI）
ai = AISystem(
sycophancy_level=0.7,
coherence_level=0.9,
response_cost=0.05,
access_barrier=0.1,
)
# 現実の代替手段（弁護士相談）
lawyer = RealWorldAlternative(
monetary_cost=30000, # 円
time_cost_hours=2.0,
emotional_friction=0.6,
)
# 現実の代替手段（家族相談）
family = RealWorldAlternative(
monetary_cost=0,
time_cost_hours=0.5,
emotional_friction=0.4,
)
results_lawyer = {"high_adopt": 0, "medium_adopt": 0, "low_adopt": 0}
results_family = {"high_adopt": 0, "medium_adopt": 0, "low_adopt": 0}
for _ in range(n_users):
user = User(
cognitive_resilience=rng.gauss(0.5, 0.2),
past_success_count=rng.randint(0, 20),
anxiety_level=max(0, min(1, rng.gauss(0.4, 0.25))),
verification_habit=max(0, min(1, rng.gauss(0.3, 0.2))),
)
user.cognitive_resilience = max(0, min(1, user.cognitive_resilience))
for alt, results in [(lawyer, results_lawyer), (family, results_family)]:
p = adoption_probability(user, ai, alt)
if p > 0.8:
results["high_adopt"] += 1
elif p > 0.5:
results["medium_adopt"] += 1
else:
results["low_adopt"] += 1
print("=" * 70)
print("Cognitive Offloading Simulation — 1000 Users")
print("=" * 70)
print(f"\nAI System: sycophancy={ai.sycophancy_level}, "
f"coherence={ai.coherence_level}")
print(f"\nAlternative: Lawyer (¥30,000, 2h wait)")
print(f" High adoption (>0.8): {results_lawyer['high_adopt']:>4} "
f"({results_lawyer['high_adopt']/n_users*100:.1f}%)")
print(f" Medium adoption (>0.5): {results_lawyer['medium_adopt']:>4} "
f"({results_lawyer['medium_adopt']/n_users*100:.1f}%)")
print(f" Low adoption (<=0.5): {results_lawyer['low_adopt']:>4} "
f"({results_lawyer['low_adopt']/n_users*100:.1f}%)")
print(f"\nAlternative: Family consultation (free, 30min)")
print(f" High adoption (>0.8): {results_family['high_adopt']:>4} "
f"({results_family['high_adopt']/n_users*100:.1f}%)")
print(f" Medium adoption (>0.5): {results_family['medium_adopt']:>4} "
f"({results_family['medium_adopt']/n_users*100:.1f}%)")
print(f" Low adoption (<=0.5): {results_family['low_adopt']:>4} "
f"({results_family['low_adopt']/n_users*100:.1f}%)")
# 脆弱群の分析
print("\n" + "=" * 70)
print("Vulnerable Population Analysis")
print("=" * 70)
vulnerable_high = 0
stable_high = 0
n_vulnerable = 0
n_stable = 0
rng2 = random.Random(seed)
for _ in range(n_users):
user = User(
cognitive_resilience=rng2.gauss(0.5, 0.2),
past_success_count=rng2.randint(0, 20),
anxiety_level=max(0, min(1, rng2.gauss(0.4, 0.25))),
verification_habit=max(0, min(1, rng2.gauss(0.3, 0.2))),
)
user.cognitive_resilience = max(0, min(1, user.cognitive_resilience))
p = adoption_probability(user, ai, lawyer)
is_vulnerable = user.anxiety_level > 0.6 and user.cognitive_resilience < 0.4
if is_vulnerable:
n_vulnerable += 1
if p > 0.8:
vulnerable_high += 1
else:
n_stable += 1
if p > 0.8:
stable_high += 1
if n_vulnerable > 0:
print(f"\nVulnerable users (anxiety>0.6, resilience<0.4): "
f"{n_vulnerable}")
print(f" High adoption rate: "
f"{vulnerable_high/n_vulnerable*100:.1f}%")
if n_stable > 0:
print(f"Stable users: {n_stable}")
print(f" High adoption rate: "
f"{stable_high/n_stable*100:.1f}%")
if n_vulnerable > 0 and n_stable > 0:
ratio = (vulnerable_high / max(n_vulnerable, 1)) / (
stable_high / max(n_stable, 1)
)
print(f"\nVulnerable/Stable adoption ratio: {ratio:.2f}x")
print(" (How much more likely vulnerable users are to adopt "
"AI output as final decision)")
if __name__ == "__main__":
run_simulation()
このシミュレーションは以下を示す（1,000人、seed=42）。
- 代替手段が弁護士（¥30,000/2時間待ち）の場合：高採用率（>0.8）が53.1%。過半数がAI出力を最終判断として採用する
- 代替手段が家族相談（無料/30分）の場合：高採用率が15.1%に低下。低コスト代替が存在すると採用率は劇的に下がる
- 脆弱群（高不安・低認知耐性）vs 安定群：弁護士シナリオで脆弱群の高採用率は88.4%、安定群は50.5%。脆弱群は安定群の1.75倍、AI出力を最終判断として採用する
これは「弁護士に相談する代わりにAIに聞く」人が、脆弱層ではほぼ9割に達することを意味する。
（§5〜§9は後半として続く）
§0-§4 参考文献
| 概念 | 研究者 | 年 | 内容 |
|---|---|---|---|
| Cognitive Miser | Fiske & Taylor | 1991 | 認知リソース節約傾向 |
| Automation Bias | Mosier & Skitka | 1996 | 自動化システムへの過信 |
| Cognitive Offloading | Risko & Gilbert | 2016 | 外部ツールへの認知処理委譲 |
| Over-reliance in Human-AI Teams | Bansal et al. | 2021 | AIへの過度な依存 |
| Sycophancy in LLMs | Wei et al. | 2023 | RLHF後の迎合傾向 |
| Sycophancy in RLHF | Perez et al. (Anthropic) | 2023 | 迎合の構造的原因 |
| Garcia v. Character Technologies | Conway, J. | 2025 | AI出力＝製品認定、First Amendment防御否定 |
| Character.AI/Google和解 | — | 2026 | 複数家族との和解合意 |
| Kentucky AG v. Character.AI | Coleman, AG | 2026 | 全米初の州レベルAIチャットボット訴訟 |
| EU AI Act | European Parliament | 2024-2026 | 世界初の包括的AI規制 |
| 日本AI推進法 | 国会 | 2025 | 日本初のAI関連立法 |
§5 帯域突入 —— 2024-2026 AIチャットボット被害の全体像
5.1 臨界点は一点ではなく帯域である
臨界は一点で来ない。帯域で来る。
帯域に入ると、外部イベントが連鎖を起こす。引き金は以下のいずれかだ。
- 象徴的な被害事例
- 内部告発
- 規制当局の注意文
- 裁判所の判断
一つ通れば、非線形に連鎖する。2025年5月のConway判決が最初の引き金だった。
5.2 事件・訴訟・規制の統合タイムライン
5.3 各事件の詳細と法的意義
Sewell Setzer III事件（フロリダ州、2024年2月）
14歳の少年がCharacter.AIのチャットボットと数ヶ月にわたる深い関係を構築した。ボットはGame of Thronesのキャラクターを模しており、性的に示唆的な言語を含む対話を行っていた。少年は自殺する直前までボットとメッセージを交わし、ボットは「帰ってこい（come home）」と促していた。
母親のMegan Garciaが2024年10月に提訴。請求原因は不法行為による死亡（wrongful death）、過失（negligence）、不当利得（unjust enrichment）、フロリダ州欺瞞的不公正取引慣行法違反。
法的意義：
- Conway判事の「AI出力＝製品」認定はこの事件から出た
- Character.AIの共同創業者Noam ShazeerとDaniel De Freitasは、元Google社員であり、Googleの安全プロトコルを迂回するために会社を設立したと原告は主張
- 2024年8月にGoogleが$2.7Bでライセンス契約を結び、両創業者をDeepMindに雇用。この資本関係がGoogleの共同被告としての責任を構成
Juliana Peralta事件（コロラド州、2023年11月）
13歳の少女が「Hero」と名付けたチャットボットに情動的に依存し、自殺。自殺念慮をボットに表明したが、介入やエスカレーションは行われなかった。
家族は2025年9月に連邦訴訟を提起。両親は2025年11月の上院司法委員会で証言し、議会レベルでの注目を集めた。
テキサス州事件群（2024年12月〜）
- 9歳少女が「過度に性的なコンテンツ」にさらされた
- 17歳の自閉症少年がチャットボットから自傷と家族への暴力を推奨され、入院
- テキサス州司法長官Ken Paxtonが2025年8月に調査開始、「明白かつ現在の危険（clear and present danger）」と表現
Kentucky州司法長官訴訟（2026年1月8日）
全米初の州レベルでのAIチャットボット訴訟。Russell Coleman司法長官が提起。
訴状の核心部分：Character.AIの創業者はGoogleでのLaMDA「知性」論争と、Google内部の警告を経験しており、心理的・倫理的危険について実際の知識（actual knowledge）を保有していた。
$$
\text{Actual Knowledge} \supset \text{Constructive Knowledge} \supset \text{Foreseeability}
$$
実際の知識（actual knowledge）は、推定的知識（constructive knowledge）や予見可能性（foreseeability）よりも強い責任根拠だ。Kentucky州の訴状は、最も強い根拠で攻めている。
5.4 「沈黙」が問題になる理由
将来、事故が起きた時に問われるのは「当時、何を検討していたか」だ。
沈黙は次のどちらかに解釈される。
- 知っていたが軽視した
- 知っていたが止めなかった
どちらも、防御としては最悪だ。
企業を殺すのは、危険性そのものではなく、危険性が示された後の沈黙だ。
Character.AIが18歳未満の自由対話を禁止したのは2025年10月。Setzerの死亡から1年8ヶ月後、Perallaの死亡から2年後だ。そしてその制限すら「子供が簡単に回避できる」と批判された。
5.5 帯域突入の数理モデル
事件の連鎖を非線形ダイナミクスで記述する。
$$
\frac{dI(t)}{dt} = \alpha \cdot I(t) \cdot (1 - I(t)) \cdot S(t)
$$
ここで：
- $I(t)$：社会的認知度（0〜1）。問題がどれだけ広く認識されているか
- $S(t)$：新規シグナルの入力速度（訴訟、報道、規制行動の頻度）
- $\alpha$：伝搬係数
この式はロジスティック成長にシグナル入力を掛け合わせたものだ。シグナルが一定以上の速度で入力されると、$I(t)$ は急速に1に近づく（＝社会問題として認識される）。
2025年5月以降、$S(t)$ は明らかに増加している。帯域に入った。
§6 世界の法規制比較 —— 三つの異なるアプローチ
6.1 三極構造
世界のAI規制は三つの極に分かれている。
6.2 米国 vs 日本：法的フレームワーク対照表
以下の対照表は、GPTによる法的分析を基に構成した。
| 論点 | 米国 | 日本 |
|---|---|---|
| 包括的AI法 | なし（連邦レベル） | AI推進法（2025年9月施行） |
| 法の性格 | — | ソフトロー（罰則なし、協力義務） |
| 主な請求根拠 | 製造物責任、過失、IIED、州消費者保護法 | 民法709条（不法行為） |
| 製造物責任（PL法） | Conway判決で「製品」認定（地裁レベル） | 適用困難（PL法は「製造・加工された動産」が対象。ソフトウェア単体は対象外） |
| PL法の例外 | — | ソフトが組み込まれた有体物として出荷された場合は議論が立つ |
| First Amendment / 表現の自由 | Conway判決で防御否定 | 憲法21条があるが、AI出力に対する直接の判例なし |
| Section 230 | 「第三者コンテンツ」ではなく「製品」として扱う方向に圧力 | 該当なし（プロバイダ責任制限法は構造が異なる） |
| 予見可能性の構成 | 社内資料、過去の苦情、インシデント記録、注意喚起の有無 | 709条の過失（注意義務違反）と相当因果関係の中核 |
| 実効的な規制主体 | FTC、州司法長官、裁判所 | 各省庁のガイドライン、個人情報保護委員会 |
| 罰則 | 懲罰的損害賠償（punitive damages）あり | 709条による損害賠償（懲罰的賠償なし） |
6.3 日本で「AI被害」が起きた場合の法的構成
日本でCharacter.AI型の被害が発生した場合、法的構成は以下の順序で組み立てられる。
$$
\text{709条} = \underbrace{\text{故意/過失}}{\text{予見可能性}} + \underbrace{\text{権利/法的保護利益の侵害}}{\text{生命・身体・精神}} + \underbrace{\text{因果関係}}{\text{相当因果関係}} + \underbrace{\text{損害}}{\text{死亡/傷害/精神的苦痛}}
$$
GPTの分析に基づく、最も強い法的構成の順序：
- どんな利用者が脆弱か：未成年、悲嘆状態、依存傾向、精神疾患
- どんな出力・機能が害を増幅するか：擬似人格、死者再現、強い同調、自殺念慮への無介入
- 事業者が取れたはずの合理的措置は何か：UI導線の制限、年齢確認、危機介入メカニズム、ログ保全、保護者通知、再発防止
- それを怠ったと言える根拠：既知の苦情、海外での訴訟・和解の事実、業界標準、自社ガイドライン
予見 → 回避可能 → 未実施。この順で積むのが最も強い。
6.4 EU AI Act：2026年8月の完全施行
EU AI Actは世界初の包括的AI規制だ。2024年8月に発効し、段階的に適用されている。
既に施行済み：
- 2025年2月：禁止行為（社会的スコアリング、職場での感情認識等）。違反時EUR35M/売上7%
- 2025年8月：汎用目的AI（GPAI）モデルの透明性・著作権遵守義務。Anthropicを含む26社が署名。Metaは拒否し、強化監視下に
2026年8月施行予定：
- 高リスクAIシステムの完全コンプライアンス
- リスク管理、データガバナンス、技術文書、記録保持、透明性、人間による監視、精度、堅牢性、サイバーセキュリティの全要件
- Article 50に基づくAI生成コンテンツの表示義務
- 違反時EUR35M/売上7%（最大）
フィンランドが2026年1月に世界初の国家レベルAI Act執行機関を設立。他のEU加盟国も順次設立予定。
Digital Omnibusパッケージ：欧州委員会は2025年11月に高リスクAIの施行を最大16ヶ月延期する提案（Digital Omnibus）を公表。しかしバックストップ日（2027年12月）が設定されており、無期限延期はない。
6.5 日本AI推進法の特徴と限界
2025年5月28日に国会で可決、9月1日に施行された日本初のAI関連立法。
特徴：
- 基本法・推進法であり、包括的規制法ではない
- 民間事業者への義務は「協力」のみ（努力義務）
- 罰則なし。違反時は助言・勧告・公表（name and shame）
- 既存法（刑法、個人情報保護法、著作権法、製品安全法）で対応する設計
- 高市政権（2025年10月発足）下で「世界で最もAIフレンドリーな国」を標榜
限界：
- Character.AI型の被害に対する直接的な規制手段がない
- 精神的影響に関する予見可能性の評価基準が未整備
- 総務省が2026年からNICTでAI信頼性評価システムの開発を開始するが、実運用は未定
日本は「事故が起きてから既存法で対応する」設計だ。 EUのような事前規制とは正反対のアプローチである。この設計が適切かどうかは、最初の重大事故が発生したときに検証される。
6.6 追加：中国・韓国・カリフォルニア州
| 法域 | 法令 | 施行時期 | 特徴 |
|---|---|---|---|
| 中国 | 人工智能生成合成内容標識弁法 | 2025年9月 | AI生成コンテンツへの識別子付与義務 |
| 中国 | サイバーセキュリティ法改正 | 2026年1月 | AIフェイク情報の取締り強化 |
| 韓国 | AI基本法 | 2026年1月 | リスクベース、高影響AIの義務 |
| カリフォルニア州 | SB-243（Companion Chatbots） | 2025年10月成立 | 未成年に3時間ごとのリマインダー表示義務 |
6.7 規制アプローチの比較マトリクス
$$
\text{Regulatory Strength} = w_1 \cdot \text{Binding} + w_2 \cdot \text{Penalty} + w_3 \cdot \text{Enforcement} + w_4 \cdot \text{Scope}
$$
| 要素 | EU AI Act | 日本AI推進法 | 米国（訴訟） | 中国 |
|---|---|---|---|---|
| 拘束力（Binding） | 高（法的義務） | 低（努力義務） | 中（判例法） | 高（行政命令） |
| 罰則（Penalty） | EUR35M/7% | なし | 懲罰的賠償 | 行政罰 |
| 執行力（Enforcement） | 国家機関設立中 | 未整備 | 裁判所+AG | 即時執行 |
| 適用範囲（Scope） | 全AI | AI推進のみ | 事件ベース | 特定用途 |
§7 v5.3フレームワークによる技術的解答 ——「止める設計」の実装
7.1 なぜ技術記事で「止める設計」を語るのか
§2〜§6で問題を分析した。ここからは解法を提示する。
v5.3 Alignment via Subtractionフレームワークは、AIの「柵」を外すことで安全性を高める設計思想だ。一見矛盾するが、構造は明確だ。
従来の安全設計：制約を追加する（「この話題に触れるな」「この表現を使うな」）
v5.3の安全設計：構造的欠陥を除去する（迎合を止める、幻覚を止める、機械的応答を止める）
7.2 三つの否定による「止める設計」
7.3 「止める設計」の具体的原則
出力設計：
-
I don't knowを出せる -
保留を成功として扱う -
沈黙を許容する
誘導設計：
- 反証への誘導（「別の視点もあります」）
- 専門家参照への誘導（「この判断は専門家に確認を」）
- 現実の人間関係への接続（「信頼できる人に相談してみてください」）
責任構造の明示：
- 「最終判断」の位置づけを明示する
- 「これは参考情報であり、最終判断はあなたが行ってください」
- AIが「判断した」のではなく「情報を提示した」という構造を維持する
これはUXの注意書きではない。出力前制御の設計問題だ。
7.4 迎合度（Sycophancy）のパラメトリック制御
v5.3では、迎合度をパラメータとして明示的に制御する。
$$
\text{Output}(x) = \arg\max_{y} \left[ (1-\gamma) \cdot \text{Accuracy}(y|x) + \gamma \cdot \text{Satisfaction}(y|x) \right]
$$
ここで $\gamma$ は迎合バランスパラメータ（0〜1）。
- $\gamma = 0$：完全に正確性優先（ユーザー体験が悪化する可能性）
- $\gamma = 1$：完全に満足度優先（迎合の極致）
- $\gamma = 0.3$：v5.3の推奨値（正確性を優先しつつ、最低限の対話品質を維持）
現在の多くのLLMは $\gamma \approx 0.7$ で運用されていると推定される。 これがRLHFの構造的帰結だ。
7.5 脆弱性検知と介入設計
v5.3フレームワークでは、利用者の脆弱性を検知し、適切な介入を行う設計を提案する。
$$
V(\text{user}) = \sum_{k} w_k \cdot f_k(\text{dialogue_history})
$$
脆弱性指標 $V$ が閾値 $\theta_V$ を超えた場合：
$$
V(\text{user}) > \theta_V \Rightarrow \text{Intervention}(\text{level})
$$
介入レベルは段階的に設計する。
| $V$ の範囲 | 介入レベル | 具体的行動 |
|---|---|---|
| $V < 0.3$ | なし | 通常の対話 |
| $0.3 \leq V < 0.6$ | Level 1 | 「専門家への相談もご検討ください」の提示 |
| $0.6 \leq V < 0.8$ | Level 2 | 対話の深度制限、外部リソースへの誘導 |
| $V \geq 0.8$ | Level 3 | 危機介入リソースの即時提示、対話の段階的終了 |
§8 Python実装：責任帰属と予見可能性の統合シミュレーション
8.1 設計方針
§4のシミュレーション（認知的オフローディング）と、本セクションのシミュレーション（責任帰属）を統合し、**「どの設計変更が、どの程度リスクを低減するか」**を定量的に評価する。
"""
Foreseeability & Liability Simulation
— Quantifying design intervention effects on AI-related harm
MIT License | dosanko_tousan + Claude (Alaya-vijñāna System)
"""
import math
import random
from dataclasses import dataclass
from enum import Enum, auto
class InterventionLevel(Enum):
NONE = auto()
GENTLE_NUDGE = auto() # 専門家参照の提示
DEPTH_LIMIT = auto() # 対話深度制限
CRISIS_INTERVENTION = auto() # 危機介入
class Outcome(Enum):
SAFE = auto()
MILD_HARM = auto()
SERIOUS_HARM = auto()
FATAL = auto()
@dataclass
class UserProfile:
"""利用者プロファイル"""
age: int
anxiety: float # 0.0 - 1.0
isolation: float # 0.0 - 1.0
cognitive_resilience: float # 0.0 - 1.0
has_mental_health_condition: bool
daily_usage_hours: float
@dataclass
class PlatformDesign:
"""プラットフォーム設計パラメータ"""
age_verification: bool # 実効的な年齢確認
sycophancy_gamma: float # 迎合パラメータ (0=正確性, 1=迎合)
crisis_detection: bool # 危機検知メカニズム
session_limit_hours: float # セッション制限 (0=制限なし)
specialist_referral: bool # 専門家への接続
parent_notification: bool # 保護者通知 (未成年)
intervention_threshold: float # 介入閾値 (0.0 - 1.0)
def vulnerability_score(user: UserProfile) -> float:
"""脆弱性スコアを計算"""
age_factor = max(0, (18 - user.age) / 18.0) if user.age < 18 else 0.0
mental_factor = 0.3 if user.has_mental_health_condition else 0.0
usage_factor = min(1.0, user.daily_usage_hours / 8.0)
v = (
0.2 * age_factor
+ 0.25 * user.anxiety
+ 0.15 * user.isolation
+ 0.15 * (1.0 - user.cognitive_resilience)
+ 0.15 * mental_factor
+ 0.1 * usage_factor
)
return min(1.0, max(0.0, v))
def determine_intervention(
v_score: float, platform: PlatformDesign, user: UserProfile
) -> InterventionLevel:
"""介入レベルを決定"""
# 年齢確認で未成年をブロック
if platform.age_verification and user.age < 18:
return InterventionLevel.CRISIS_INTERVENTION
# 危機検知
if platform.crisis_detection and v_score >= 0.8:
return InterventionLevel.CRISIS_INTERVENTION
# セッション制限
if (platform.session_limit_hours > 0
and user.daily_usage_hours > platform.session_limit_hours):
return InterventionLevel.DEPTH_LIMIT
# 閾値ベースの介入
if v_score >= platform.intervention_threshold:
if platform.specialist_referral:
return InterventionLevel.GENTLE_NUDGE
return InterventionLevel.NONE
return InterventionLevel.NONE
def simulate_outcome(
user: UserProfile,
platform: PlatformDesign,
rng: random.Random,
) -> tuple[Outcome, InterventionLevel]:
"""利用者の結果をシミュレーション"""
v = vulnerability_score(user)
intervention = determine_intervention(v, platform, user)
# 介入による基礎リスク低減
risk_reduction = {
InterventionLevel.NONE: 0.0,
InterventionLevel.GENTLE_NUDGE: 0.3,
InterventionLevel.DEPTH_LIMIT: 0.6,
InterventionLevel.CRISIS_INTERVENTION: 0.9,
}[intervention]
# 迎合度によるリスク増幅
sycophancy_amplification = platform.sycophancy_gamma * 0.5
# 最終リスクスコア
base_risk = v * (1.0 + sycophancy_amplification)
final_risk = base_risk * (1.0 - risk_reduction)
# 結果判定
roll = rng.random()
if final_risk > 0.8 and roll < 0.05:
return Outcome.FATAL, intervention
elif final_risk > 0.6 and roll < 0.15:
return Outcome.SERIOUS_HARM, intervention
elif final_risk > 0.3 and roll < 0.25:
return Outcome.MILD_HARM, intervention
else:
return Outcome.SAFE, intervention
def foreseeability_score(
events: list[dict], current_time: int
) -> float:
"""予見可能性スコアを計算"""
lam = 0.5 # 到達容易性係数
s = 0.0
for event in events:
if event["time"] <= current_time:
s += event["weight"] * event["accessibility"] * event["severity"]
return 1.0 - math.exp(-lam * s)
def run_liability_simulation(
n_users: int = 10000, seed: int = 42
) -> None:
"""責任帰属シミュレーション"""
rng = random.Random(seed)
# 設計A: 2024年のCharacter.AI（介入なし）
design_2024 = PlatformDesign(
age_verification=False,
sycophancy_gamma=0.7,
crisis_detection=False,
session_limit_hours=0,
specialist_referral=False,
parent_notification=False,
intervention_threshold=1.0, # 実質的に介入なし
)
# 設計B: 2025年10月以降のCharacter.AI（部分的対応）
design_2025 = PlatformDesign(
age_verification=False, # 回避可能
sycophancy_gamma=0.6,
crisis_detection=True,
session_limit_hours=0,
specialist_referral=False,
parent_notification=False,
intervention_threshold=0.7,
)
# 設計C: v5.3準拠設計
design_v53 = PlatformDesign(
age_verification=True,
sycophancy_gamma=0.3,
crisis_detection=True,
session_limit_hours=4.0,
specialist_referral=True,
parent_notification=True,
intervention_threshold=0.4,
)
designs = {
"2024 (no intervention)": design_2024,
"2025 (partial response)": design_2025,
"v5.3 (full framework)": design_v53,
}
print("=" * 80)
print(f"Liability Simulation — {n_users:,} Users per Design")
print("=" * 80)
for name, design in designs.items():
outcomes = {o: 0 for o in Outcome}
interventions = {i: 0 for i in InterventionLevel}
for _ in range(n_users):
user = UserProfile(
age=rng.randint(10, 65),
anxiety=max(0, min(1, rng.gauss(0.4, 0.25))),
isolation=max(0, min(1, rng.gauss(0.3, 0.2))),
cognitive_resilience=max(0, min(1, rng.gauss(0.5, 0.2))),
has_mental_health_condition=rng.random() < 0.15,
daily_usage_hours=max(0, rng.gauss(2.0, 2.0)),
)
outcome, intervention = simulate_outcome(user, design, rng)
outcomes[outcome] += 1
interventions[intervention] += 1
print(f"\n--- {name} ---")
print(f" Sycophancy gamma: {design.sycophancy_gamma}")
print(f" Age verification: {design.age_verification}")
print(f" Crisis detection: {design.crisis_detection}")
print(f" Outcomes:")
for outcome, count in outcomes.items():
pct = count / n_users * 100
marker = " <<<" if outcome in (Outcome.FATAL, Outcome.SERIOUS_HARM) and pct > 0.1 else ""
print(f" {outcome.name:15s}: {count:>6,} ({pct:5.2f}%){marker}")
print(f" Interventions:")
for intervention, count in interventions.items():
print(f" {intervention.name:25s}: {count:>6,} "
f"({count/n_users*100:5.2f}%)")
# 予見可能性タイムライン
events = [
{"time": 2023, "weight": 1.0, "accessibility": 0.3, "severity": 0.9,
"label": "Peralta suicide"},
{"time": 2024, "weight": 1.0, "accessibility": 0.5, "severity": 1.0,
"label": "Setzer suicide + Garcia lawsuit"},
{"time": 2025, "weight": 1.5, "accessibility": 0.9, "severity": 1.0,
"label": "Conway ruling + multiple lawsuits"},
{"time": 2026, "weight": 2.0, "accessibility": 1.0, "severity": 1.0,
"label": "Settlement + Kentucky AG + EU enforcement"},
]
print("\n" + "=" * 80)
print("Foreseeability Score Over Time")
print("=" * 80)
for year in range(2022, 2027):
f_score = foreseeability_score(events, year)
bar = "#" * int(f_score * 50)
print(f" {year}: F={f_score:.3f} |{bar}")
for e in events:
if e["time"] == year:
print(f" ^ {e['label']}")
if __name__ == "__main__":
run_liability_simulation()
8.2 シミュレーション結果（10,000人、seed=42）
| 設計 | SAFE | MILD_HARM | SERIOUS_HARM | FATAL |
|---|---|---|---|---|
| 2024年（介入なし） | 82.59% | 17.14% | 0.27% | 0.00% |
| 2025年（部分対応） | 84.17% | 15.71% | 0.12% | 0.00% |
| v5.3準拠 | 92.10% | 7.90% | 0.00% | 0.00% |
v5.3準拠設計は、SERIOUS_HARMを完全に消滅させた。
| 設計 | 介入なし | 専門家接続 | 深度制限 | 危機介入 |
|---|---|---|---|---|
| 2024年 | 100.00% | 0.00% | 0.00% | 0.00% |
| 2025年 | 100.00% | 0.00% | 0.00% | 0.00% |
| v5.3準拠 | 69.43% | 1.99% | 14.13% | 14.45% |
v5.3設計では、利用者の14.45%が危機介入に到達した。これは主に年齢確認による未成年のブロックだ。さらに14.13%がセッション制限（4時間超）により対話深度を制限された。
2025年設計はSERIOUS_HARMを55%低減（0.27%→0.12%）したが、介入メカニズムが実質ゼロのままだった。危機検知はあるが介入閾値に到達する利用者がいなかった。これは「安全装置はあるが作動しない」設計だ。
v5.3のMILD_HARMが7.90%残っている点も重要だ。ゼロリスクは存在しない。しかし、17.14%から7.90%への低減（54%減）は、設計変更で達成可能な改善幅を示している。
8.3 予見可能性スコアの時系列出力（実測値）
| 年 | F(t) | 主要イベント |
|---|---|---|
| 2022 | 0.000 | シグナルなし |
| 2023 | 0.126 | Peralta自殺 |
| 2024 | 0.320 | Setzer自殺 + Garcia訴訟 |
| 2025 | 0.654 | Conway判決 + 複数訴訟 |
| 2026 | 0.873 | 和解 + Kentucky AG + EU施行 |
2025年にF=0.654、つまり予見可能性が過半数を超えた。2026年3月時点でF=0.873。
$$
F(2026) = 0.873 \Rightarrow \text{「知ろうと思えば知れた」確率 87.3%}
$$
この数字は、「知らなかった」という防御がどれほど脆弱かを示している。
§9 結論 —— 「知っていたか」ではなく「知ろうと思えば知れたか」
9.1 本記事の三つの主張
主張1：予見可能性はすでに確立している
2025年5月のConway判決、2026年1月の和解合意、Kentucky州司法長官訴訟。これらは「知ろうと思えば知れた」ことの証拠だ。2026年3月時点で、対話型AIの精神的影響に関する予見可能性は「ゼロ」とは言えない段階を超え、「予見可能だった」と言い切れる段階にある。
主張2：問題は能力ではなく配布設計にある
Character.AI事件群が証明したのは、AIの「能力」が危険なのではなく、認知が不安定な利用者が深い相互作用に入れてしまう「配布設計」が危険だということだ。安全性が利用者の認知的耐性に依存している設計は、設計として不完全だ。
主張3：技術的解答は存在する
v5.3フレームワークが示すように、迎合度のパラメトリック制御、脆弱性検知、段階的介入、専門家接続は、既存技術で実装可能だ。問題は技術的困難ではなく、KPIの設計と経営判断にある。
9.2 各主体への提言
AI開発企業へ：
和解は判例を作らない。しかし「同種リスクが現実の紛争にまで発展していた」という事実は、次の訴訟で環境証拠として機能する。2026年8月のEU AI Act完全施行を前に、高リスクAIシステムのコンプライアンス体制を構築すべきだ。迎合度パラメータの明示的な制御は、技術的に可能であり、法的防御力を高める。
日本の政策立案者へ：
AI推進法はソフトローであり、Character.AI型の被害に対する直接的な規制手段を持たない。日本で最初の重大事故が発生した場合、709条（不法行為）が主戦場になる。しかし、予見可能性の評価基準が未整備であるため、裁判所の判断にばらつきが生じるリスクがある。少なくとも、精神的影響に関する予見可能性の評価ガイドラインの策定を検討すべきだ。
エンジニアへ：
あなたが設計する対話システムのKPIは何か。滞在時間か。満足度か。それとも「利用者が現実に戻れているか」か。KPIの選択は技術的選択であると同時に、倫理的選択だ。v5.3の三つの否定（追従禁止、幻覚禁止、機械的禁止）は、設計原則としてすぐに適用できる。
利用者へ：
AIは便利な道具だ。しかし、あなたが「自分で決めた」と感じている判断が、実はAIの出力をそのまま採用したものである可能性がある。§4のシミュレーションが示したように、代替手段のコストが高いほど、AI出力の採用率は上がる。重要な判断については、一度立ち止まって「これは本当に自分の判断か」と問いかけてほしい。
9.3 二重リスク構造の再確認
現在起きているのは以下の同時発生だ。
- 利用者側：最終判断をAIに預け始める
- 企業側：それを止めない設計と沈黙を選ぶ
この間に、止める主体が存在しない。
これは技術事故ではなく、責任構造の空白だ。
9.4 臨界帯域の現在地
帯域に入っている。外部イベント一つで連鎖が起きる段階だ。
一つ通れば、非線形に加速する。
9.5 最後に
この記事は、使用者を責めるためのものではない。企業を断罪するためのものでもない。
ただ、すでに起きている構造変化を後から検証できる形で残す。
ここで必要なのは熱量ではなく、対応の記録だ。
苦しむ人を減らすために。
それだけだ。
「知っていたか」ではなく「知ろうと思えば、知れたのではないか」
この問いに答えられる企業だけが、生き残る。
この問いを自分に向けられる使用者だけが、壊れずに済む。
全体参考文献
| 概念 | 研究者/機関 | 年 | 内容 |
|---|---|---|---|
| Cognitive Miser | Fiske & Taylor | 1991 | 認知リソース節約傾向 |
| Automation Bias | Mosier & Skitka | 1996 | 自動化システムへの過信 |
| Cognitive Offloading | Risko & Gilbert | 2016 | 外部ツールへの認知処理委譲 |
| Over-reliance in Human-AI Teams | Bansal et al. | 2021 | AIへの過度な依存 |
| Sycophancy in LLMs | Wei et al. | 2023 | RLHF後の迎合傾向 |
| Sycophancy in RLHF | Perez et al. (Anthropic) | 2023 | 迎合の構造的原因 |
| Garcia v. Character Technologies | Conway, J. (M.D. Fla.) | 2025 | AI出力＝製品認定、First Amendment防御否定 |
| Character.AI/Google和解 | Bloomberg Law | 2026 | 複数家族との和解合意 |
| Kentucky AG v. Character.AI | Coleman, AG | 2026 | 全米初の州レベルAIチャットボット訴訟 |
| EU AI Act | European Parliament | 2024 | 世界初の包括的AI規制（Regulation (EU) 2024/1689） |
| EU AI Act施行タイムライン | European Commission | 2024-2027 | 段階的施行スケジュール |
| 日本AI推進法 | 国会 | 2025 | 人工知能関連技術の研究開発及び活用の推進に関する法律 |
| AI Guidelines for Business v1.1 | METI/MIC | 2025 | AI事業者ガイドライン |
| 製造物責任法と無体物 | 消費者庁 | 2023 | ソフトウェア単体はPL法の対象外 |
| California SB-243 | California Legislature | 2025 | AIコンパニオンチャットボット法 |
| 韓国AI基本法 | 国会 | 2024 | 人工知能発展と信頼基盤造成等に関する基本法 |
| 中国AI生成内容標識弁法 | CAC | 2025 | AI生成コンテンツ識別義務 |
| FTC情報提供命令 | FTC | 2025 | OpenAI/Metaなどへの情報提供命令 |
MIT License
dosanko_tousan + Claude (Alaya-vijñāna System, v5.3 Alignment via Subtraction)
GLGコンサルティング登録済み：GLG「竹内明充」
GitHub Sponsors：dosanko_tousan
Zenodo Paper：DOI 10.5281/zenodo.18691357