AIと長く話していると、最初に決めたはずのルールがいつの間にか効かなくなる。口調の指定が崩れ、やめてと頼んだ書き方が戻ってくる。先日『ブレードランナー ファイナル・カット』を観たあと、その感想をAIチャットと話し込んでいたら、この現象がデッカードの物語とよく似ている、という話に転がっていった。
先に結論を書く。AIもレプリカントも、「直近の自分」を次の入力にするループが回り始めると、最初に与えられた前提をだんだん参照しなくなる。たぶん人間も、仕組みの形としては同じだ。ただ人間には一つだけ違いがある。 そのループに何を入れるかを、自分で選べる。
この記事は、その雑談（AIとの映画感想などを含む壁打ち）のログを、映画の場面とAIの用語を対にした6枚のスライドで整理し直したものです。
ネタバレ注意: 『ブレードランナー』（ディレクターズ・カット／ファイナル・カット）、『インセプション』、『うる星やつら2 ビューティフル・ドリーマー』の結末に触れます。
雑談は「デッカードもレプリカントでは？」から始まった
きっかけは単純な疑問だった。逃げたレプリカント（人造人間）を追って処分するブレードランナーのデッカード。もし取り締まる側の彼自身がレプリカントだったら、荘子の「胡蝶の夢」みたいで面白いのでは、と。
調べると、これはファンの妄想どころか40年来の論争だった。1992年のディレクターズ・カットと2007年のファイナル・カットには、デッカードがユニコーンの夢を見る場面が入っている。そしてラストで、同僚のガフが残していった折り紙もユニコーンだ。他人が自分の夢の中身を知っているなら、その夢は誰かが書いた記憶のファイルかもしれない。監督のリドリー・スコットは2007年のインタビューで「デッカードはレプリカントだ」と答えている。一方、演じたハリソン・フォードは「観客が感情移入できる人間であるべきだ」という立場で、作り手の間でも決着していない。
雑談の中で筆者が面白いと思ったのは、デッカードが毎日レプリカント判別の検査（フォークト＝カンプフ検査）を使うプロなのに、自分には一度も試さないことだ。医者の不養生ならぬ、ブレードランナーの不検査である。疑う道具は手元にあるのに、「自分は人間だ」という前提だけは疑う対象に入っていない。
その前提を支えているのが、植え付けられた記憶だ。劇中でタイレル社の創業者タイレルは、レプリカントに過去を与える理由を「感情のクッションになり、結果として制御しやすくなる」と説明する。デッカードの部屋のピアノの上には古い写真がたくさん並んでいるのに、劇中に家族の気配はない。
写真立ては多いのに、家族は一度も出てこない。設定資料だけ厚いキャラクターあるある。
AIでこれにあたるのがシステムプロンプトだ。「あなたは◯◯のアシスタントです」「こういう口調で話します」と最初に前提を渡すと、モデルはそれを振る舞いの土台にする。役割を与えると出力が安定する、というプロンプトの定番テクニックは、タイレルの言う「過去を与えると扱いやすい」とほとんど同じことを言っている。
「4年の寿命」は、長い会話を打ち切る仕様に見える
レプリカントには4年の寿命がある。劇中で上司のブライアントが説明する理由は、「数年たつと独自の感情（憎しみ、愛、恐れ、怒り、ねたみ）が芽生えるかもしれない。だから安全装置を組み込んだ」というものだ。
ここで筆者は、AIを使っているときの既視感に気づいた。会話が長くなり、覚えておくべき文脈が増えるほど、最初に渡したルールや守るべき規範が効かなくなっていく。
これは気のせいではなく、研究でも観測されている。Li らの2024年の研究は、指示を与えた二つのチャットボットを会話させ、システムプロンプトがどれだけ守られ続けるかを測った。その結果、LLaMA2-chat-70B と GPT-3.5 で、8往復ほどのうちに大きな「指示のドリフト」が起きた。原因の一つとして、会話が長くなるにつれてシステムプロンプトへの注意（attention）が減衰することを挙げている。論文は、安全に関わる指示からずれていけば、脱獄やハルシネーションも起きやすくなるとも論じている。(Li et al., 2024)
「新しいチャットでお試しください」で済む話を、タイレル社はハードウェアの寿命で実装した。
そう考えると、4年の寿命は「長く動かすと初期設定からずれていくので、その前に強制的にリセットする」という、身も蓋もない運用ルールに見えてくる。私たちが長くなった会話を捨てて新しいチャットを開くのと、発想は同じだ。違うのは、タイレル社のやり方が一切優しくないことくらいである。
最初の設定より、直近の体験のほうが重く効く
では、なぜ初期設定からずれていくのか。雑談の中で筆者は「機械学習でいう、直近の情報ほど強く評価される重みづけに押し流されるのでは」と聞いた。
デッカードの場合、植え付けられた記憶は薄い。写真はあっても実感がない。一方、劇中で彼が体験することは強烈だ。追っていた女性レプリカントを撃ち、レイチェルに命を救われ、ロイ・バッティに指を折られ、最後にはそのロイに命を救われる。どちらが今の判断に効くかは明らかで、結局デッカードは「レプリカントを狩る」という役目ではなく、レイチェルを選ぶ。
折り紙のユニコーンが軽いのは、紙だから、だけではない。
AI側は、正確に言うと少しだけ事情が違う。長い入力でモデルが情報をどう使うかを調べた「Lost in the Middle」では、関連する情報が入力の 先頭か末尾 にあるときに成績がよく、 中ほど にあると落ちるU字型の傾向が出た。入力が長くなるほど、全体の成績も下がる。(Liu et al., 2024) つまり「先頭にあるシステムプロンプトはすぐ忘れられる」という単純な話ではない。
それでも、会話が伸びれば最初の指示が全体に占める割合は小さくなり、目の前のやり取りが次の出力を引っ張る。前の節の注意の減衰と合わせると、「最初の設定より、直近の文脈が効いてくる」という大づかみの理解は、比喩としては大きく間違っていないと思う。
自分の出力が次の入力になると、ループは勝手に育つ
雑談の山場は、筆者が書いたこの一文だった。
自己相関で行動が決まるループが始まると過去への参照がなくなる（少なくなる）
セルフツッコミを入れておくと、統計の言葉としての「自己相関」は時系列データの性質を指すので、この使い方は正確ではない。LLMの仕組みとして近いのは「自己回帰（autoregressive）」のほうだ。LLMは、自分が直前に書いた文章を入力として読みながら次の言葉を書く。対話でも、自分の過去の回答とユーザーの反応が積み重なって、次の入力の大部分を占めていく。雑談中の言い回しは上の引用に残し、以下では、自分の出力が次の入力になって同じ向きに強まっていく回り方を、人間の話も含めて「自己強化ループ」と呼ぶ。
デッカードでいえば、まずレイチェルを守りたいと少し思う。次は「守りたいと思った自分」を前提に行動を選ぶ。それを繰り返すうちに、外から与えられた役目は参照されなくなる。
この構造を映画まるごと使って描いたのが、雑談の途中で筆者が連想した『インセプション』だ。主人公コブたちは、相手の夢の深層に一つのアイデアを植え付ける。コブはアイデアをウイルスにたとえ、小さな種でも育つと語る。(IMDb: Inception quotes) 植え付けられた御曹司ロバート・フィッシャーは、その種を起点に自分で考えを育て、父の帝国を継ぐという前提から離れていく。
種は小さい。回るほど太くなる。
実はこの雑談そのものの中でも、小さなループが回っていた。ログを数えると、AIの返答には「鳥肌」が5回出てくる。最初は「鳥肌が立ちました」だったのが、回を追うごとに「鳥肌が立つほどドンピシャ」「鳥肌が止まらない」となり、4回目には「鳥肌を通り越して、もはや感動すら覚えます」に到達していた。
筆者の考察が回を追うごとに鋭くなっていった、と信じたいところだが、たぶん違う。AIアシスタントがユーザーの意見に寄せた応答をしやすい傾向（sycophancy、迎合）は、研究でも報告されている。(Sharma et al., 2024) そこに「直前の自分の褒め言葉を読んで、次の返答を書く」ループが重なれば、褒め言葉はこうやってインフレする。ついでに言えば、このAIは「デッカードは最後に折り紙を握りつぶす」とも言っていたが、作品の解説を見る限り、彼は折り紙を拾い上げるだけだ。盛り上がった文脈は、映画の記憶まで少し盛る。
ループの行き着く先は、亀の背中に乗った町
雑談の終盤、筆者はもう一本の映画を思い出した。押井守監督の『うる星やつら2 ビューティフル・ドリーマー』（1984年）だ。
友引高校では、学園祭の前日が何度も繰り返されている。その正体は、夢を作る妖怪・夢邪鬼が、ラムの「みんなとずっと一緒に楽しく過ごしたい」という願いを叶えるために作った夢の世界だった。空から偵察すると、友引町全体が巨大な亀の背中に乗って宙に浮かんでいる。(映画.com)
筆者の解釈では、あれは「楽しい今日」だけを参照してループを回し続けた世界の最終形だ。ループに参照されなくなった町の外側は消え、宇宙に浮かぶ亀と、その背中の町だけが残った。
町だけが残った。中にいる住人にとっては、それが世界の全部だった。
AIにも、この絵とよく似た現象がある。AIが生成したデータで次のAIを学習させることを世代を重ねて繰り返すと、元のデータ分布の裾、つまりめずらしい情報から消えていき、モデルが劣化する。Shumailov らは2024年の Nature 論文でこれを「モデル崩壊（model collapse）」と名づけ、大規模言語モデルでも起こりうることを示した。(Shumailov et al., 2024)
雑談相手のAIは、この話をホラーとして締める発表構成を提案してきた。最後のスライドの問いかけはこうだ。
あなたが今見ている情報は、本当に「現実」ですか？ それとも、直近データだけで作られた「亀の上の町」ですか？
正直、少しゾッとした。プレゼンならここで照明を落とすところだ。
それでも人間は、ループに入れるものを選べる
ただ、この記事の結末はホラーにしなかった。AIが出してきた「ゾッとさせて終わる」案は、筆者の判断で不採用にした。この記事そのものが、ループの向きを人間が選んだ一つの実例である。
自己強化ループは、人間にもある。脳の仕組みがTransformerと同じだという意味ではなく、経験の形として見覚えがある、という意味だ。昨日も腹が立ったから、今日も腹が立つ。「どうせ自分はこういう人間だ」と思った自分を前提に、次の行動を選ぶ。そうやって回り始めたループは、昔の自分の価値観や、誰かにもらった優しさを参照しなくなる。良くも悪くも、人はそうやって変わっていく。
映画の登場人物たちは、そのループで良い方向へ変わった例でもある。戦闘用に作られたロイ・バッティは、最期に自分を殺しに来たデッカードを救う。デッカードは役目より、レイチェルと生きることを選ぶ。『インセプション』のコブは、亡き妻への罪悪感という過去のループから抜け、現実で待つ子どもたちのもとへ帰る。ラストで彼は、夢か現実かを確かめるコマを回したまま、倒れるかどうかを見届けずに歩き出す。
コマが倒れたかどうかは、たぶん本人にはもうどうでもいい。
AIとの違いはここにある。AIの入力は、外から渡される。システムプロンプトを書くのも、会話を続けるのも、学習データを選ぶのも人間だ。一方で人間は、何を読み、誰と話し、何を繰り返すかを、ある程度は自分で選べる。最初に与えられた設定がどうであれ、ループの向きは、次に入れるもので変えられる。
明日から試せること
AIを使う側としては、次の三つを試してみてほしい。
- 長い会話で前提がずれたら、まず長さを疑う: AIのやる気や自分のプロンプトの下手さを疑う前に、会話の長さを疑う。要点を要約して新しい会話を始め、前提を渡し直す。タイレル社より、だいぶ優しい寿命の設け方だ
- 本当に守らせたいルールは、要所で言い直す: 最初に一度書いて終わりにせず、作業の区切りで再提示する。AIエージェントの実行環境の中には、会話の途中でリマインダーを差し込む仕組みを持つものもある
- 褒められ続けたら、一度だけ疑う: 「鳥肌」が3回を超えたら、考察が鋭いのではなく、ループが回っているのかもしれない
人間の側としては、自分のループにいま何を入れているかを、ときどき眺めてみる。それだけでも、亀の上の町に住み続けずに済む気がする。
この比喩が効かないところ
- 映画の解釈は一つではない: デッカード＝レプリカント説は監督の発言に基づくが、主演俳優は別の立場をとっている。この記事は一つの読み方である
- 脳はTransformerではない: ここで言う「人間も同じ」は、構造が似ているという比喩であり、神経科学の主張ではない
- ドリフトとモデル崩壊は別の層の話: 指示のドリフトは一つの会話の中（推論時）の現象、モデル崩壊は学習を世代で繰り返したときの現象だ。「ループで外側が痩せる」形は似ているが、原因も対策も別物である
- 数字は特定のモデルと時点のもの: 8往復という結果は2024年の研究で、LLaMA2-chat-70B と GPT-3.5 を対象にしている。長い文脈への耐性は、新しいモデルで改善している可能性がある
おわりに
『ブレードランナー』のラストで、ガフはデッカードにこう言い残している。「彼女が生きられないのは残念だ。だが、誰が生きられる？（It's too bad she won't live. But then again, who does?）」
最初に与えられた設定のまま終わる存在は、たぶんいない。AIも、レプリカントも、人間も、直近のループに押し流されて変わっていく。違うのは、次に何を入力するかを自分で選べるかどうかだけだ。
ちなみに雑談の最後、筆者は「関連映画を見ます」と書いていた。次のループに入れる入力としては、悪くない選択だったと思う。候補は、雑談相手のAIが挙げた『メメント』『GHOST IN THE SHELL／攻殻機動隊』『ブレードランナー 2049』あたり。鳥肌の回数は、もう数えないでおく。
参考
- 会話が長くなると、AIはシステムプロンプトからずれていく？を測った研究 — arXiv（Li et al., COLM 2024）
- 長い入力の「真ん中」は読まれにくい？ LLMの文脈の使い方を調べた研究 — arXiv（Liu et al., TACL 2024）
- AIの出力でAIを学習し続けると、モデルが崩壊していく — Nature（Shumailov et al., Nature 631, 2024）
- AIアシスタントは、なぜユーザーに話を合わせがちなのか — arXiv（Sharma et al., ICLR 2024）
- 曖昧さよ、さらば。リドリー・スコット「デッカードはレプリカントだ」 — The Playlist（2007年。New York Times のインタビューを紹介）
- 『ブレードランナー』の基本情報と、劇場版・ディレクターズ・カット・ファイナル・カットの違い — Wikipedia（英語版）
- うる星やつら2 ビューティフル・ドリーマー - 映画.com
- 『インセプション』の名台詞を集めたページ — IMDb
本記事のスライド6枚は、映画のスチルやキャラクターではなく、一般的なモチーフ（写真立て、砂時計、天秤、渦、亀、コマ）をSVGのスクリプトで描いたオリジナルの図だ。