基盤エージェントの最新動向と課題

こんにちは、GWはいかがお過ごしてですか？村本です。最近はAgentの開発ばかりをやっております。

Agentに関してお困りごとがあればお声がけください。

さて、私は先日ある論文を読んで非常に有益だと感じたので日本語にして共有します。2025年4月時点におけるAgentの課題が網羅的にまとまっています。長いです。。

元の論文: https://arxiv.org/abs/2504.01990

※ 以下の文章はClineで生成したものです。修正などありましたらご指摘をお願いします。

第1章

はじめに

人工知能（AI）は長らく、人間の知能、適応力、目的志向的な行動を模倣する存在を創り出すという人類の野望に駆動されてきました。この関心の起源は古代の神話や初期の工学的偉業にまで遡り、知的で自律的な存在を創造したいという人類の夢を象徴しています。例えば、クレタ島の青銅の自動人形タロスは、神々によって島を守るために作られ、海岸を巡回し侵入者を撃退する能力を持つ巨人として語られています。こうした神話は人工物に人間のような主体性と目的を与えたいという願望を表しています。同様に、ルネサンス期の機械的発明、特にレオナルド・ダ・ヴィンチの人型ロボットは、人間の動作や解剖学を模倣する試みとして、これらの神話を具体的かつ機能的な形に翻訳した最初の例です。これらの初期の想像と試作は、想像力と技術を結びつける深い願望を反映し、機械知能の科学的探求の基礎を築きました。1950年、アラン・チューリングは「機械は考えることができるか？」という画期的な問いを提示しました。これに対し、チューリングはチューリングテストを提案し、機械が会話を通じて人間のような知能を示せるかを判定する枠組みを示しました。これは、機械の知能を計算能力だけでなく、より広範な知能の概念として捉える転換点となりました。数十年にわたり、AIは事前定義された論理に依存する記号システムから、データから学習し新たな状況に適応できる機械学習モデルへと進化しました。この進展は、大規模言語モデル（LLM）の登場により新たな段階に達し、人間のようなテキストの理解、推論、生成において顕著な能力を示しています。これらの進歩の中心にあるのが「エージェント」という概念であり、情報を処理するだけでなく環境を認識し、意思決定を行い、自律的に行動するシステムを指します。エージェントは当初は理論的な構成要素でしたが、現代のAIにおいては会話型アシスタントから具現化されたロボティクスまで、動的で現実世界の環境に対応するAIの基盤となっています。

1.1 AIエージェントの台頭と発展

「エージェント」という概念は、環境を認識し、意思決定を行い、特定の目標を達成するために行動を取るシステムを表す、現代AIの基盤的な考え方です。この考えは20世紀中頃にAIで形式化されましたが、自律性や知的システムの相互作用に関する初期の探求に根ざしています。最も広く引用される定義の一つは「センサーを通じて環境を認識し、アクチュエーターを通じて環境に作用するもの」とされています。この定義は、エージェントが観察者であると同時に行動者であり、静的なルールに従うのではなく環境に動的に適応することを強調しています。これは単なる計算システムから環境と関わるシステムへのAIの転換を象徴しています。エージェントの歴史的発展はAI自体の進化と並行しています。ニューウェルとサイモンのGeneral Problem Solverのような初期の記号システムは、人間の問題解決過程を論理的なステップに分解して模倣しようとしましたが、構造化された環境と事前定義された論理に依存していたため限界がありました。エージェントのパラダイムはこれらの限界に応える形で、自律性、適応性、現実世界との相互作用に焦点を当てました。1980年代のロドニー・ブルックスのサブサンプションアーキテクチャはこの変化を体現し、環境の詳細なモデルを必要とせずに行動駆動のリアルタイム応答を可能にするエージェントをロボティクスで示しました。以来、エージェントはロボティクスにおける自律的なナビゲーションや操作、ソフトウェアにおけるシミュレーションや協調のためのマルチエージェントシステムの基盤として多様に応用されています。知覚、推論、行動を統合した構造として、理論的AIと実践的応用の橋渡しを担い、動的かつ複雑な環境での知的システムの運用理解を深めています。

大規模言語モデル（LLM）の登場はエージェントの能力を再定義し、AIにおける役割と応用の新たな地平を切り開きました。かつては狭義のタスク実行や厳格なルールベースの枠組みに限定されていたエージェントは、OpenAIのChatGPT、DeepSeek AIのDeepSeek、AnthropicのClaude、AlibabaのQWen、MetaのLLaMAなどのモデルの広範な一般化能力、推論力、適応力を活用するようになりました。これらのLLM搭載エージェントは静的なシステムから、自然言語を処理し複雑な領域で推論し、新たな状況に流暢に適応できる動的な存在へと進化しています。単なる入力処理者ではなく、多段階の課題に対応し環境と人間の問題解決を模倣する能動的な協働者となっています。

LLM時代の重要な進歩は、言語理解と実行可能な能力のシームレスな統合です。現代のLLMは関数呼び出しAPIを備え、外部ツールやシステムの必要性を認識し、その使用を推論し、特定の目標達成のために正確な行動を実行できます。例えば、ChatGPT搭載のエージェントはデータベースを自律的に照会し、関連情報を取得して実用的な洞察を提供しつつ、広範なタスクの文脈を維持します。この抽象的推論と具体的実行の動的な組み合わせにより、認知理解と現実世界の行動の橋渡しが可能となっています。さらに、LLMのfew-shotやzero-shot学習における一般化能力はエージェントの適応性を革命的に高め、データ分析や創造的コンテンツ生成、リアルタイムの協調的問題解決など、多様なタスクに対して広範なタスク固有の訓練なしに対応可能としています。この適応性と会話の流暢さにより、LLM搭載エージェントは人間の意図と機械の精度を統合する知的な媒介者として位置づけられています。

1.2 人間の脳とAIエージェントの並列比較

LLMの知能エージェントへの急速な統合はAIを前進させると同時に、AIシステムと人間の認知の根本的な違いを浮き彫りにしました。表1.1に示すように、LLM搭載エージェントは基盤となる「ハードウェア」、意識、学習方法、創造性、エネルギー効率などの面で人間の認知と大きく異なります。ただし、この比較は高レベルの概要に過ぎず、人間の知能にはここに示されない多くの微妙な特徴があり、AIエージェントもこの簡潔な比較を超えた独自の特性を持っています。

人間の知能は生物学的な脳というハードウェア上で動作し、極めて高いエネルギー効率を示し、生涯にわたる学習、推論、適応的意思決定を最小限の代謝コストで可能にします。一方、現行のAIシステムは同等の認知タスクに対して大幅に高い計算資源とエネルギー消費を必要とします。この性能差はエネルギー効率を将来のAI研究の重要な課題として認識させます。

意識や感情体験に関しては、LLMエージェントは人間の認知に内在する真の主観的状態や自己認識を欠いています。人間のような意識をAIで完全に再現することは必ずしも必要でも望ましいことでもありませんが、感情や主観的体験が人間の推論、動機付け、倫理判断、社会的相互作用に果たす深い役割を理解することは、より整合的で信頼性の高い社会的に有益なAIの研究に資するでしょう。

人間の学習は継続的で対話的かつ文脈依存的であり、社会的・文化的・経験的要因に深く影響されます。対照的に、LLMエージェントは主に静的なオフラインのバッチ学習であり、継続的な適応能力は限定的です。指示調整や人間のフィードバックによる強化学習（RLHF）などの研究は進んでいますが、依然として人間の柔軟性には及びません。生涯学習、個別適応、対話的微調整などのアプローチでこのギャップを埋めることは、AIが人間の適応性や応答性をよりよく模倣するための有望な研究方向です。

創造性は人間においては個人的経験、感情的洞察、異分野の連想の豊かな相互作用から生まれますが、LLMの創造性は主に訓練データの統計的再結合による「統計的創造性」であり、深みや独創性、感情的共鳴を欠いています。この違いは、より豊かな文脈理解、感情状態のシミュレーション、経験的基盤を統合することで、より深い創造的プロセスを持つAIエージェントの開発機会を示しています。

時間軸で見ると、人間の脳は数百万年の進化を経て高い効率性、適応性、創造性を獲得しましたが、AIエージェントは約80年の比較的短期間で急速に発展してきました。この人間の認知とAIシステムの並列比較は、重要な類似点と根本的な違いを明らかにし、AIエージェント技術の進歩を導く有意義な洞察を提供します。最終的に、人間の知能からの着想は、医療、教育、持続可能性など多様な応用分野でAIの能力を高め、人類に利益をもたらすでしょう。

表1.1: 人間の脳とLLMエージェントの簡潔な高レベル比較

項目	人間の脳・認知	LLMエージェント	備考
ハードウェアとメンテナンス	生物学的ニューロン、神経伝達物質、神経可塑性。睡眠、栄養、休息が必要。複製は限定的で学習を通じて知識を伝達。約20Wの極めて高いエネルギー効率。	深層ニューラルネットワーク、勾配最適化。ハードウェア、安定電源、冷却が必要。サーバー間で容易に複製可能。GPUサーバーは数千ワットの高エネルギー消費。	人間の脳は生物学的に維持されエネルギー効率が高い。LLMはハードウェア依存で複製可能だがエネルギー効率は低い。
意識と発達	真の主観的体験、自己認識。幼少期からの段階的発達。感情的認知が意思決定を駆動。	主観的体験や自己認識はなし。感情は表面的な言語模倣。	人間の意識は感情や社会的発達に根ざす。LLMは静的で真の内省や感情深度はない。
学習スタイル	生涯にわたる継続的、対話的、文脈依存学習。環境、文化、感情に影響される。	主にオフラインのバッチ学習。限定的なオンライン微調整。	人間の学習は動的で文化的・感情的に統合されている。LLMは静的で限定的。
創造性と多様性	個人的経験、感情、潜在的洞察の豊かな相互作用。比喩的思考や感情的深みを伴う。	訓練データの統計的再結合による新規性。経験的基盤は限定的。	人間の創造性は深みと感情を持つ。LLMの創造性は統計的でデータ駆動。

1.2.1 脳の機能領域とAIの対応

人間の脳機能とAIの対応関係を理解することは、特にLLMやAIエージェントの強みと限界を明らかにします。現在の神経科学に基づくと、人間の脳は主に前頭葉、小脳、脳幹など6つの機能領域で構成されており（図1.1参照）、本書ではこれらの主要領域とそのAIにおける対応を体系的に検討します。AI研究の進捗は以下の3段階に分類されます。

• レベル1（L1）：現行AIで十分に発展している領域
• レベル2（L2）：部分的に研究が進んでおり、さらなる改善が可能な領域
• レベル3（L3）：ほとんど研究されておらず、大きな研究余地がある領域

図1.1は脳の機能領域とAIの研究進捗レベルを示し、生物学的な専門化と統合の原理がより統合的なエージェント設計にどう活かせるかを示唆しています。以下に各領域とAIの関連を詳述します。

前頭葉：実行制御と認知

前頭葉、特に前頭前皮質は計画（L2）、意思決定（L2）、論理的推論（L2）、作業記憶（L2）、自己認識（L3）、認知的柔軟性（L3）、抑制制御（L3）に重要です。AIはAlphaGoのような特定領域での計画・意思決定で顕著な進歩を遂げています。トランスフォーマーは人間の作業記憶に似た注意機構を用いますが、人間の柔軟性や堅牢性には及びません。自己認識や抑制制御のAI研究はまだ少なく、倫理的・安全性の観点から慎重な検討が必要です。

頭頂葉：空間処理と多感覚統合

頭頂葉は多感覚入力を統合し、注意（L2）、空間的方向付け（L2）、感覚運動協調（L2）を担います。ロボティクスやコンピュータビジョンのAI研究はSLAMなどの技術で類似課題に取り組んでいますが、人間のようなシームレスでリアルタイムな統合はまだ達成されていません。触覚知覚（L3）は未開拓であり、特にロボティクスや義肢の応用で大きな可能性があります。

後頭葉：視覚処理

後頭葉は視覚知覚（L1）に特化し、階層的構造で視覚刺激を効率的に処理します。AIは深層ニューラルネットワークやビジョントランスフォーマーを用いて基本的な視覚認識タスクで人間レベル以上の性能を達成しています。しかし、文脈的なシーン理解（L2）や抽象的視覚推論は依然として難しく、部分的な発展にとどまっています。

側頭葉：言語、記憶、聴覚処理

側頭葉は聴覚処理（L1）、言語理解（L1）、記憶形成（L2）、意味理解（L2）を担います。LLMは人間に近い音声認識や言語生成で顕著な進歩を遂げていますが、エピソード記憶や生涯学習能力は限定的で、破滅的忘却の問題に直面しています。意味理解の多モーダルな基盤化は活発な研究分野です。

小脳：協調と運動学習

小脳は主に運動協調（L2）、精密な技能学習（L2）、適応的誤差修正（L2）を支え、認知的タイミングや予測モデリング（L3）にも関与します。AIロボティクスは人間の器用さの模倣に限定的な成功を収めていますが、リアルタイムの適応制御は依然として課題であり、強化学習やメタラーニングの研究が期待されています。小脳の認知機能は未開拓の有望な領域です。

脳幹：自律調節と反射制御

脳幹は生命維持に不可欠な自律機能（L3）と迅速な反射応答（L1）を管理します。AIには自動車の自動ブレーキのような工学的反射応答が存在しますが、これらは学習によるものではなく事前定義されたものです。自律調節や動的覚醒状態の複雑さはAIではほとんど研究されておらず、生物と人工システムの根本的な違いから関連性は限定的かもしれません。

大脳辺縁系：感情、共感、動機付け

大脳辺縁系は扁桃体や海馬を含み、感情処理（L3）、報酬機構（L2）、共感（L3）、ストレス調節（L3）、動機付け（L3）を担います。AIの強化学習は報酬ベースの学習を表面的に模倣しますが、感情の深い理解や真の共感、内的動機状態は著しく未発達です。感情操作に関する倫理的懸念もあり、慎重かつ責任ある研究が求められます。

脳機能と有益なAI構築の架け橋

人間の脳と機械知能のギャップは明白ですが、AIに人間の認知を完全に再現させることが目的ではありません。むしろ、役立ち、倫理的で安全かつ社会に有益な知的エージェントの開発が目標です。人間と人工知能の比較を通じて、既存のギャップを明らかにし、革新の方向性を示します。この視点により、エネルギー効率の高い処理、生涯適応学習、感情的基盤、豊かな創造性など人間認知の有益な側面を選択的に統合しつつ、人間の限界を超える革新も可能となります。最終的に、こうしたアプローチはより有能で堅牢かつ責任あるAIシステムの創出を促進します。

さらに、人間とAIが共存するハイブリッド社会における人間の役割の進化も重要です。AIの目的は人間の役割を完全に置き換えることではなく、人間の能力を拡張し補完することにあります。大量データの処理、高速計算、反復作業の自動化などAIが得意とする分野で人間の判断や技能を支援します。強力なAIシステムが人間の価値観や倫理基準に沿い、制御可能であるためには人間の監督と解釈可能性が不可欠です。したがって、透明性、解釈性、人間の指導に応答可能なAI技術の開発が核心的目標となります。

人間中心のAI設計は協働、安全性、社会的責任を重視し、技術進歩を制御された信頼性の高い形で進めます。人間をAIエコシステムの中心に据えることで、生産性、創造性、意思決定を高め、技術的・社会的進歩を促進しつつ、人間の自律性や尊厳を損なわない持続可能で公平な未来を築く道を開きます。

1.3 モジュール化された脳に着想を得たAIエージェントフレームワーク

LLM時代の主要課題の一つは、高度なエージェントに必要な豊かな認知・機能コンポーネントを統合する統一的なフレームワークの欠如です。LLMは卓越した言語推論能力を提供しますが、多くの現行エージェント設計は断片的で、知覚、記憶、計画などのモジュールを寄せ集めたに過ぎず、人間の脳のような高度に調整された専門化を模倣できていません。人間の脳は知覚、記憶、推論、行動を異なるが相互接続された領域でシームレスにバランスさせ、複雑な刺激に適応的に応答します。対照的に、LLM駆動のエージェントは異分野や多モーダル統合が必要な課題でつまずくことが多く、脳の機能的多様性に倣ったより包括的なアプローチが求められます。これらの類似点に着想を得て、本調査では生物学的システムが専門化コンポーネント（知覚、推論、行動など）を緊密に統合して汎用知能を実現していることを示し、現行のLLMベースエージェント強化の設計指針としています。

神経科学の研究は、脳が合理的回路（新皮質など）と感情回路（辺縁系など）を用いて意思決定を導くことを示しています。記憶形成は海馬と皮質機構が協調し、報酬信号はドーパミン経路などの神経調節経路を介して行動と学習を強化します。これらの生物学的知見はAIエージェント設計の以下の原則に着想を与えています。

• 並列かつ多モーダル処理：脳は視覚、聴覚など多様な感覚入力を専門領域で並列処理し、連合領域で統合します。同様にAIエージェントも多様なセンサーストリームを並列処理し、後段で融合することが有益です。

• 階層的かつ分散的認知：推論、計画、感情制御、運動制御は皮質と皮質下領域の相互作用を伴います。AIエージェントも合理的推論、感情評価、記憶に特化したモジュールを持つモジュラーアーキテクチャを採用できます。

• 注意機構：人間の注意は文脈、目標、感情に基づき感覚データの優先順位を決定します。AIエージェントも学習された注意ポリシーで知覚を調整し、内部状態に応じて動的に焦点を変えられます。

• 報酬と感情の統合：感情は意思決定におけるノイズではなく、優先順位の調整、警戒心の強化、学習の指導に不可欠です。報酬駆動の可塑性は習慣形成や技能獲得を促進し、強化学習における重要な概念です。

• 目標設定とツール使用：前頭前皮質は抽象的目標設定や行動計画、ツール使用に優れています。同様にAIエージェントも外部報酬や内発的動機に基づく堅牢な目標管理と適応的行動レパートリーを必要とします。

これらの原則は、生物学的メカニズムを模倣するのではなく着想とする脳に着想を得たエージェントフレームワークの基盤を形成します。

以下では、知覚・認知・行動ループに報酬信号と学習過程を組み込んだ統一的エージェントアーキテクチャの主要概念を示します。各サブシステムは記憶、世界モデル、感情、目標、報酬、学習、推論が相互接続され、透明性を持って相互作用します。認知は一般的な推論機構として形式化され、計画や意思決定は行動を形成する特定の「精神的行動」として位置づけられます。Minskyの「心の社会」、Buzsákiの内側からの視点、ベイズ的能動推論などの理論との関連も示し、フレームワークの一般性と生物学的妥当性を強調します。

1.3.1 エージェントループの核心概念と記法

本アーキテクチャは社会、環境、エージェントの3つの概念レベルで動作します。エージェントは知覚、認知、行動の3つの主要サブシステムに分解され、認知内には記憶、世界モデル、感情状態、目標、報酬、学習、推論（計画・意思決定を含む）があります。注意は主に知覚と認知で扱われます。表1.2に記号の概要を示します。

1.3.1 エージェントループの記号説明

記号	意味
( \mathcal{W} )	環境と知的存在（AIまたは人間）を包含する社会システムを含む世界。
( \mathcal{S} )	環境の状態空間。
( s_t \in \mathcal{S} )	時刻 ( t ) における環境の状態。
( \mathcal{O} )	観察空間。
( o_t \in \mathcal{O} )	時刻 ( t ) における観察（注意や他の知覚フィルターによって形作られる可能性あり）。
( \mathcal{A} )	エージェントの行動空間。
( a_t \in \mathcal{A} )	時刻 ( t ) にエージェントが出力する行動。外部（物理的）行動や、計画や意思決定などの内部（精神的）行動である可能性がある。
( \mathcal{M} )	全ての精神状態の空間。
( M_t \in \mathcal{M} )	時刻 ( t ) におけるエージェントの精神状態。記憶、感情などのサブコンポーネントを含む。
( M_t^{mem} )	( M_t ) 内の記憶コンポーネント（短期または長期知識）。
( M_t^{wm} )	( M_t ) 内の世界モデルコンポーネント（環境の変化の内部表現）。
( M_t^{emo} )	( M_t ) 内の感情コンポーネント（内部の価数、覚醒、感情状態）。
( M_t^{goal} )	( M_t ) 内の目標コンポーネント（目的、望ましい結果、意図）。
( M_t^{rew} )	( M_t ) 内の報酬・学習信号（好み、価値、方策の更新を促す）。
( L )	学習関数：( L : \mathcal{M} \times \mathcal{A} \times \mathcal{O} \to \mathcal{M} )。前の精神状態 ( M_{t-1} )、前の行動 ( a_{t-1} )、新しい観察 ( o_t ) に基づき、次の精神状態を更新・学習する。
( R )	推論関数：( R : \mathcal{M} \to \mathcal{A} )。更新された精神状態 ( M_t ) に基づき次の行動 ( a_t ) を導出する。計画や意思決定などを含む。
( C )	認知関数：( C : \mathcal{M} \times \mathcal{A} \times \mathcal{O} \to \mathcal{M} \times \mathcal{A} )。学習 ( L ) と推論 ( R ) を包含し、( (M_t, a_t) = C(M_{t-1}, a_{t-1}, o_t) ) はエージェントが新たな精神状態を学習し、次の行動を推論することを意味する。
( E )	行動実行（エフェクター）：( E : \mathcal{A} \to \mathcal{A} )。行動 ( a_t ) を環境に適用する前に変換・最終化する（例：高レベル命令を低レベル運動信号に変換）。
( T )	環境遷移：( T : \mathcal{S} \times \mathcal{A} \to \mathcal{S} )。環境状態 ( s_t ) と行動 ( a_t ) から次の状態 ( s_{t+1} ) への遷移を定義。

エージェントループは離散時間tで環境と連続的に相互作用します。各ステップで以下の処理が行われます。

1. 環境状態（st → S）：環境は状態stにある。

2. 知覚（P）：エージェントは環境を知覚し観察otを生成。Mt-1が選択的注意とフィルタリングを導く。

3. 認知（C）：精神状態を更新し行動atを選択。Mtは記憶、世界モデル、感情、目標、報酬などのサブ状態を含む。

4. 行動実行（E）：行動atを実行可能な形に変換。

5. 環境遷移（T）：環境はエージェントの行動に応じて状態を更新。

マルチエージェント環境では各エージェントが個別の精神状態を持ち、環境は全エージェントの行動に基づき更新されます。社会システムは経済、法制度、政治、教育、文化など多様な構造を含み、エージェントの行動を規定し影響を与えます。

図1.2はエージェントフレームワークの概要を示し、知覚・認知・行動ループと社会システムの相互作用を表現しています。

1.3.2 生物学的着想

本エージェントモデルは計算的ですが、各サブモジュールは人間の脳の生物学的対応物に着想を得ています。

• 記憶（海馬と新皮質）：海馬はエピソード記憶形成に関与し、皮質は意味的・手続き的知識を保持。人間では短期記憶と長期記憶が協調。エージェントの記憶コンポーネントM_memはこれを模倣し、短期・長期の経験や知識を保存。

• 世界モデル（予測処理）：皮質は予測機械として感覚データと期待を比較。M_wmは環境の時間的変化を内部表現し、新たな観察や報酬・感情信号で更新。

• 感情（辺縁系）：感情は注意、学習率、意思決定閾値を調整。M_emoは内部の価数や覚醒状態を表し、緊急目標の優先や脅威への迅速対応を促進。

• 目標と報酬（前頭前皮質と皮質下回路）：人間は抽象的長期目標を形成し、報酬信号が動機付けと習慣学習を強化。M_goalとM_rewは目標と報酬信号を保持し、計画的行動やツール使用、社会的相互作用を可能に。

• 推論・計画・意思決定（前頭前皮質）：前頭前皮質は記憶、感覚、感情、報酬情報を統合し高次認知を実行。エージェントの推論機能はPlanFnやDecideモジュールを含み、物理的・精神的行動を選択。計画は未来シナリオのシミュレーションと結果評価を含み、柔軟な行動選択を可能に。

1.3.3 既存理論との関連

本アーキテクチャはAI、認知科学、神経科学の重要理論と共鳴します。

• 古典的知覚–認知–行動サイクル：従来の感覚–思考–行動サイクル拡張し、注意、学習、感情、持続的報酬信号を明示的に組み込み、内部状態と過去行動が知覚・認知に与える影響を解析しやすく。

• Minskyの「心の社会」：知能は専門化した「エージェント」の集合体とし、記憶、予測、感情評価、目標設定などの機能を分散的に実装。自然言語ベースの心の社会研究は社会的・経済的構造を含むエージェントシステムの表現を支持。

• Buzsákiの内側からの視点：脳は受動的に入力を受けるのではなく能動的に知覚を構築。Mt-1（感情、報酬、目標）が知覚マップPに影響し、内部文脈が環境のサンプリングと解釈を駆動。

• 部分観測マルコフ決定過程（POMDP）：本フレームワークはPOMDPの一般化。環境遷移関数Tは確率的・決定論的に拡張。報酬はエージェントの内部状態に組み込み、目標や感情と共進化。推論は記憶や感情を考慮し、単純な価値最大化を超えた意思決定を可能に。記憶や感情などのサブモジュールを明示的にモデル化。

• アクティブインファレンスとベイズ脳：エージェントは内部生成モデルを更新し予測誤差を最小化。M_wmとM_rew、計画・意思決定はベイズ的に解釈可能。行動は予測・望ましい結果に適合。

• 生物学的妥当性と一般性：脳回路とエージェントサブモジュールの対応は高レベルだが、生物学的着想とモジュールの柔軟性を両立。記憶、感情、目標、報酬は様々なAIパラダイムで実装可能。

1.4 本調査の構成

本調査は認知科学、神経科学などの知見を取り入れ、知的エージェントの包括的かつモジュール化された学際的検討を提供します。既存の多くの調査がエージェント研究の様々な側面を扱う中、本調査は生物学的認知と計算フレームワークの比較を通じて相乗効果、ギャップ、革新機会を特定し、エージェントの強みと課題を明確にします。

表1.3に既存レビューの焦点比較を示し、本調査の独自性を強調します。

調査は以下の4部構成です。

• 第I部：知的エージェントのモジュール設計。認知モジュール（エージェントの「脳」）、知覚システム、行動システムを紹介。認知内の記憶、世界モデル、感情、目標、報酬システムの進展、限界、課題を分析。

• 第II部：知的エージェントの自己強化。適応学習、自己反省、フィードバック駆動の改善機構を探求。動的記憶システムと継続的知識統合の重要性を論じ、変化する環境での有効性を維持。

• 第III部：協調的・進化的知的システム。エージェント間および環境との相互作用を通じた複雑問題解決を検討。ロボティクス、医療、科学的発見などの応用を紹介。マルチエージェントシステムのトポロジーとプロトコルの進化を追跡。人間の協働パラダイムと知能の共進化を考察。

• 第IV部：安全で有益なAIの構築。LLMベースエージェントのセキュリティリスクを内因的・外因的に分類。脆弱性や攻撃手法を分析し、防御策をレビュー。将来の超整合技術やAI安全のスケーリング則を展望。

これらを統合し、本調査は知的エージェントの現状と将来展望を包括的に示し、認知科学の知見と計算設計原理の融合により、強力で効率的かつ適応的で倫理的なエージェント設計の基盤を提供します。

---

第2章

認知

人間の認知は、複数の専門的な神経回路が調和して動作する高度な情報処理システムであり、知覚、推論、目標志向的行動を可能にします。この認知アーキテクチャは、学習と推論の基盤となる精神状態を通じて機能します。異なる抽象レベルで情報を処理し、新しい状況に適応する卓越した能力は、LLMエージェントにとって重要な着想源となっています。

認知システムは図1.1に示されるようにいくつかの基本的な構造的特性を持ちます。第一に、学習は精神状態空間の異なる領域で行われます。前頭葉（実行制御と認知を支援）や側頭葉（言語、記憶、聴覚処理を担当）全体で包括的に行われることもあれば、特定の認知機能の改善に焦点を当てることもあります。第二に、推論は明確な論理的依存関係を持つ体系的な問題解決のための構造化されたパターンとして現れることもあれば、意思決定や実行制御に顕著な柔軟な非構造的形式として現れることもあります。第三に、システムは経験を通じて精神状態を継続的に更新し、前頭葉の適応的誤差修正や小脳の教師あり学習、環境統計の無監督学習など多様な学習形態を活用しながら高い適応性を示します。

これらの認知プロセスは、意味のある表現に変換する知覚システム、情報の保存と検索を担う記憶システム、未来のシナリオをシミュレートする世界モデル、行動の洗練を導く報酬信号、注意と資源配分を調整する感情システム、意思決定を行う推論システム、そして決定を環境との相互作用に変換する行動システムという、相互接続されたモジュール群によって支えられています。

人間の認知は進化によって形成された複雑な神経構造を通じてこれらの特性を実装していますが、LLMエージェントは大規模なニューラルモデルとアルゴリズム技術を用いて類似の機能を近似しようとしています。生物学的・人工的な並列性の理解は、より高度なエージェント開発に不可欠であり、現行システムと人間認知の達成度や限界を明らかにします。適応性、一般化、文脈理解などの面で依然として大きな差異が存在します。

本節ではまず学習を探求し、精神状態内で学習が行われる空間と学習の具体的な目的を検討します。続いて推論を分析し、構造化されたアプローチと非構造化されたアプローチの両方を考察し、最後に計画能力を特別な推論行動として詳述します。

2.1 学習

学習は、知的エージェントが経験を知識に変換する基本的なプロセスであり、精神状態内の異なる認知空間で行われます。学習の範囲は、知覚理解の向上、推論能力の強化、より豊かな世界理解の発展など多様な目的を含みます。

人間の学習は、海馬によるエピソード記憶の迅速な符号化、小脳による精密な運動技能の教師あり学習、基底核によるドーパミン報酬信号を介した強化学習、皮質による無監督パターン抽出など、適応的な神経ネットワークを通じて多層的に行われます。特定の神経回路は専門的なスキルや知識の獲得のために局所的に適応し、即時反応から生涯発達まで異なる時間スケールで機能し、注意、感情、社会環境の影響を受けます。

LLMエージェントは根本的に異なるアーキテクチャながら、精神状態空間で類似の学習プロセスを実装しています。包括的には大規模データセットでの事前学習を通じて広範な知識を獲得し、これは一種の無監督学習に相当します。より焦点を絞ったレベルでは、教師あり微調整や強化学習によるパラメータ更新で特定能力を洗練します。さらに、コンテキスト内学習（In-Context Learning）により、パラメータ変更なしに注意ウィンドウ内の文脈を活用して新規タスクに適応する能力を示し、これは人間の作業記憶に類似しますが根本的に異なるメカニズムで動作します。

人間と人工学習システムの比較は、より有能で適応的なエージェント開発に有益な洞察を提供します。人間の学習は効率性、文脈化、感情システムとの統合に優れ、LLMベースの手法は大規模データ処理、形式知識の表現、ドメイン横断的情報統合に強みを持ちます。これらの相補的な強みは研究の有望な方向性を示唆します。

図2.1および表2.1に示される学習・推論パラダイムの詳細は以下の通りです。

2.1.1 学習空間

LLMエージェントの学習アプローチは、探索的で感情駆動的な人間の学習とは対照的に、構造化されデータ駆動型のパラダイムを示します。人間の学習は好奇心や動機、感情的強化を伴いますが、LLMエージェントは主に訓練中のパラメータ更新や探索中の構造化された記憶形成など、より形式的なプロセスを通じて学習します。現行のエージェントアーキテクチャは、人間の学習の側面を模倣しつつ計算システムの強みを活用するメカニズムを実装し、このギャップを埋めようとしています。

知的エージェントの学習は、基盤モデルωと精神状態Mの両方にまたがり、前者は後者の能力と制約を根本的に支えます。精神状態は記憶（M_mem）、世界モデル（M_wm）、感情状態（M_emo）、目標（M_goal）、報酬信号（M_rew）に分解されます。

基盤モデルの変更は全精神状態学習と見なされ、エージェントの能力を根本的に変化させます。モデルレベルの変更は精神状態の異なる部分に影響を与えますが、コンテキストウィンドウや外部構造の変更は特定の精神状態コンポーネントに焦点を当てる傾向があります。例えば、環境からの経験やスキルは主に記憶に影響し、LLMの予測能力は世界モデルを強化します。

2.1.2 学習の目的

知的エージェントの学習は、環境との相互作用のあらゆる側面に現れます。入力レベルでは、環境情報の知覚と解析を向上させることを学びます。処理レベルでは、既存の知識や推論能力に基づき効果的な推論を行う方法を学びます。理解レベルでは、継続的な相互作用を通じて世界の理解を形成・最適化します。この多層的学習目的の枠組みにより、エージェントは複雑で動的なタスク環境をより良く処理できるよう進化します。

知覚能力向上のための学習

環境からの情報を効果的に知覚・処理する能力はエージェント知能の基盤です。知覚能力を高めるため、エージェントは主に二つの学習アプローチを用います。多モーダル知覚の拡張と検索機構の活用です。

多モーダル知覚学習は、人間の多感覚統合に類似しつつ生物学的制約を受けない多様な感覚入力の処理・統合を可能にします。CLIPは視覚と言語表現の整合を先駆け、LLaVAは画像・テキストペアの専門的プロジェクタを訓練し、CogVLMは統一表現アーキテクチャで視覚推論を進展させました。

感覚モダリティの拡張は音声処理にも及び、Qwen-Audioは音声から環境音まで多様な音響情報の統一符号化を示します。触覚知覚の研究も進み、視覚・言語と触覚を整合させるデータセットが開発されています。これにより、物理的・デジタル環境への包括的な関与が可能となります。

検索機構の活用は、即時感覚入力に制約される人間の知覚と異なり、広大な外部知識リポジトリへのアクセスと統合を学習します。RAGは即時観察と関連知識の連結により知覚理解を強化します。

検索ベースのエージェントは、プロンプトによる能動的検索学習で知識境界を拡大します。R1-SearcherやSearch-R1は推論過程で自律的情報検索を組み込み、モデルレベルの能動知覚能力向上の有望な方向性を示します。

推論能力向上のための学習

推論はエージェントの精神状態と行動をつなぐ重要な橋渡しであり、効果的な推論能力の開発は知的エージェントに不可欠です。現代エージェントの推論基盤は、豊富な世界知識と堅牢な論理体系に由来し、内部または文脈構造を通じて支えられます。これにより、推論能力向上はエージェント開発の重要な目的となります。

推論能力の発展は、質の高い推論データの直接的な能力向上、検証や報酬モデルによる効果的なデータ選別、基盤モデルへの直接強化学習による推論能力の自発的発現という三つの現象で示されます。

o1シリーズのリリース以降、推論の重要性は再認識されました。一般的なアプローチは、オープン・クローズドソースの推論モデルからデータを収集・蒸留することです。SKY-32BはQWQ-32Bからデータを蒸留し、32B推論モデルを低コストで訓練しました。Open ThoughtsはR1からデータを蒸留・合成し、低コストでBespoke-Stratos-32Bを訓練しました。これらは複雑なアルゴリズム設計なしに、教師あり微調整で推論能力を効果的に活性化できることを示します。

質の高い構造化推論データは、エージェントや言語モデルが推論過程を学習する上でより効果的です。LIMOは複雑な推論課題に対し、極めて少数のデータサンプルで長く効果的な推論連鎖を構築し強力な推論モデルを構築できることを示しました。これは言語モデルが推論に十分な知識を持つが、高品質な推論経路が必要であることに起因します。Liらは、長短両方のCoTがモデルに推論構造を教えることを明らかにし、高品質推論データの自動選択が今後の重要な方向性であると示唆しました。

有望な探索アプローチは、広範な探索を行い、検証可能な環境や訓練可能な報酬モデルで推論軌跡にフィードバックを与え、高品質推論データを選別することです。これにより、様々なフィードバック機構を活用した推論能力向上の手法群が生まれました。

第一のカテゴリはSTaRとその派生型に代表され、モデルが段階的な根拠を生成し、成功した推論経路で反復的に微調整する技術を実装します。Quiet-STaR、V-STaR、rStar-Mathは強化学習原理で数学的推論を強化し、正しい推論経路を選択して自己改善を実現します。

第二のカテゴリは強化学習原理をより明示的に組み込んだもので、ReSTファミリーは強化自己学習を導入し、成功した推論例から新たな訓練データを生成します。ReST-EMは期待値最大化を、ReST-MCTSはモンテカルロ木探索を統合し、より高度な探索戦略で推論能力を向上させます。

複数の研究はPolicy Reward Models（PRM）を導入し、推論経路の質を評価します。OpenRやLLaMA-Berryは推論課題をマルコフ決定過程としてモデル化し、木探索とPRMで多様な推論経路を探索します。数学的問題解決ではrStar-MathやDeepSeekMathが多段階自己反復と探索-活用のバランスで成功を収めています。コード生成ではo1-CoderやMarco-o1がMCTSを活用し、推論過程を伴うコード生成を実現しています。

データ駆動アプローチに加え、強化学習はLLMの推論能力向上に顕著な成功を収めています。DeepSeek R1やKimi-K-1.5は教師あり微調整とオンライン強化学習を組み合わせ、推論経路の自動サンプリングで推論を強化します。VeRLは70Bパラメータまでの大規模モデルに対応するオープンソースRLフレームワークを提供し、RFTは報酬誘導最適化の有効性を示しています。

これらの基盤を踏まえ、OpenR1やRAGENはRL技術を一般推論能力向上に拡張し、SWE-Gymはソフトウェア工学タスクで成功を収めています。DigiRLはデジタル世界エージェントの強化学習アプローチを提案しています。

さらに、Qwen-QwQ-32Bは強化学習と一般報酬機構を用いて推論過程にツール呼び出しを組み込み、任意のツールをシームレスに使用可能にします。RAGENは多段階エージェントシナリオに注力し、複雑環境でのエージェント強化学習の枠組みを確立しています。これらはモデル訓練とエージェント開発の収束を示し、複雑推論シナリオでの性能向上と大規模注釈データ依存の低減を実現しています。

学習による世界理解

エージェント知能の重要な側面は、環境との直接的な相互作用と経験蓄積を通じて世界の動作を理解する能力です。これには環境が異なる行動にどう反応し、その結果がどうなるかの理解が含まれます。エージェントは環境との継続的な相互作用を通じて記憶、報酬理解、世界モデルを構築・洗練し、成功と失敗から学び、運用領域の包括的理解を深めます。

基礎的なレベルでは、Inner Monologueは継続的な相互作用を通じて基本的な環境知識を蓄積する方法を示します。Learn-by-Interactは明示的な報酬なしに直接環境と関わることで意味のある理解が生まれることを示しています。Minecraft環境のDESPやVoyagerは、経験の収集だけでなく、結果分析や動的スキルライブラリの拡張を通じて積極的に経験を処理します。

蓄積された経験の処理と活用は、Generative Agentsの高度な記憶再生機構により体系化され、Self-refineやCriticは経験評価と洗練の構造的サイクルを実装しています。

環境相互作用による報酬理解の最適化も重要な側面です。Text2Rewardは人間のフィードバックを通じて報酬関数を継続的に洗練し、AutoManualは持続的な相互作用で行動ガイドラインを構築します。これらの相互作用ベースの最適化機構は、複雑で動的な環境における適応性と意思決定能力を高めます。

RAPは推論を世界モデルを用いた計画と捉え、LLMを推論エージェントと世界モデルの両方として再利用し、モンテカルロ木探索を通じて潜在的行動の結果をシミュレートし、探索と活用のバランスを取ります。

ActReは推論-行動の典型的な順序を逆転させ、先に行動を実行し後から説明を生成する能力を示し、LLMの世界動態理解を活用した軌跡注釈と対照的自己学習を促進します。

認知地図の重要性は、人間の認知に着想を得た構造化された精神表象が新規環境でのLLMの外挿能力を大幅に向上させることを示した研究により強調されています。これらの認知地図は計画を改善し、構造化された精神シミュレーションや迅速な適応など人間らしい特徴を示します。

Web環境では、LLMがWeb操作の結果を予測する効果的な世界モデルとして機能することが示されています。これにより、不可逆的な操作がある環境での安全かつ効率的な意思決定が可能となります。

ReflexionやExpeLのようなシステムは、経験収集、分析、適用の全サイクルを自律的に管理し、成功と失敗の両方から効果的に学習します。

これらの進展は、世界モデルがエージェント学習システムの中心的役割を担い、複雑でインタラクティブな環境における計画、推論、意思決定の基盤を提供することを示しています。

2.2 推論

推論は知的行動の鍵であり、生の情報を問題解決や意思決定を促す行動知識に変換します。人間と人工エージェントの両方において、論理的推論、仮説生成、目的的な世界との相互作用を可能にします。人間の認知では、演繹的推論（一般規則から特定事例へ）、帰納的推論（特定事例から一般化）、仮説的推論（不完全なデータから妥当な説明を構築）など多様な戦略が用いられます。これらは不確実性下の意思決定を効率化するヒューリスティックにより補強され、環境からのフィードバックで継続的に洗練されます。

LLMベースのエージェントにおける推論は、反応的システムを超えた高度な認知能力を示します。推論を通じて多モーダル入力を処理し、多様な知識源を統合し、目標達成のための一貫した戦略を形成します。環境は推論の情報源であり、推論された行動の検証場として機能し、推論の検証と誤りからの学習を可能にするフィードバックループを形成します。

LLMベースエージェントの推論は、精神状態 ( M_t ) に基づく行動選択過程として形式化されます。すなわち、( R(M_t) \to a_t ) であり、( a_t ) は選択された行動を示します。この過程はテキスト、デジタル、物理的環境など多様な環境で単一または複数の推論行動の合成を必要とします。

推論行動の構成は、明示的に論理的依存関係を持つ離散的推論ステップの構造化推論 ( R_s = R_1 \circ R_2 \circ \cdots \circ R_n ) と、暗黙的かつ柔軟な非構造化推論 ( R_u = f(M_t) ) の二つに大別されます。これは人間の認知における明示的論理推論と直感的問題解決能力の二面性を反映します。

環境は観察 ( o_t ) を通じて精神状態更新 ( M_t = L(M_{t-1}, a_{t-1}, o_t) ) に影響し、推論結果の検証場として機能します。これにより、推論は行動選択を促すだけでなく、経験を通じて推論戦略の反復的洗練を可能にします。

以下に、推論の実践的な現れを検討します。まず、体系的問題分解と多段階論理連鎖を強調する構造化推論を紹介し、次に柔軟な応答パターンと並列解探索を可能にする非構造化推論を探り、最後に複雑で長期的な課題に対処するための計画を特別な推論行動として考察します。

第3章

記憶

記憶は人間と人工知能の両方にとって基盤的な要素です。人間にとって記憶は認知の土台であり、経験や知識の膨大な貯蔵庫として、学習、適応、複雑な世界のナビゲーションを可能にします。幼少期から情報の符号化、保存、検索能力は言語習得、技能習得、対人関係構築の基盤となっています。神経科学や認知心理学の研究は、記憶の多面的な役割を明らかにし、自己認識、創造性、意思決定に与える影響を示しています。同様に、人工知能の分野でも記憶は知的行動の礎として認識されつつあります。AIエージェントも複雑なタスクに取り組み、未来を予測し、動的な環境に適応するために強固な記憶機構を必要とします。したがって、人間の記憶の組織、プロセス、限界を深く理解することは、より有能で適応的なAIシステムの開発に不可欠な洞察を提供します。

3.1 人間の記憶の概要

3.1.1 人間の記憶の種類

人間の記憶は多層的なシステムとして概念化され、異なる処理レベルと時間スケールで情報を捕捉、保存、検索します。一般的に感覚記憶、短期記憶（作業記憶を含む）、長期記憶に区別されます。長期記憶はさらに宣言的（明示的）記憶と非宣言的（暗示的）記憶に分けられます。

• 感覚記憶：環境からの生の感覚情報を数ミリ秒から数秒間保持し、後続の処理が重要な刺激を選択できるようにします。視覚のアイコニックメモリや聴覚のエコイックメモリが代表例です。

• 短期記憶：数十秒間、限られた情報を保持し、作業記憶として情報の操作も行います。容量は一般に7±2チャンクとされます。

• 長期記憶：数時間から数十年にわたり情報を保持し、技能習得や事実知識、個人的経験の想起を支えます。宣言的記憶は意識的に想起可能で、意味記憶やエピソード記憶、自伝的記憶に分類されます。非宣言的記憶は意識を伴わず行動に影響を与え、手続き的記憶やプライミング、古典的条件付けなどが含まれます。

3.1.2 人間の記憶のモデル

人間の記憶を説明する代表的なモデルには、情報処理モデル（符号化、貯蔵、検索の段階）、ワーキングメモリモデル（中央実行系、音韻ループ、視空間スケッチパッド、エピソードバッファ）、SPIモデル（認知表象系と行動系の並列処理）、グローバルワークスペース理論やIDA/LIDAフレームワーク、ACT-R認知アーキテクチャなどがあります。これらは記憶の多様な側面を説明し、認知や行動との密接な関係を示しています。

3.2 人間の記憶からエージェントの記憶へ

人間の記憶システムの知見はAIエージェントの記憶設計に応用されます。記憶の階層構造、処理プロセス、異なるモダリティの統合、知識の構造化、関連性の維持などが重要な要素です。AIエージェントの記憶は人間の短期記憶や長期記憶に類似した機能を持ち、選択的注意や符号化、キュー依存の検索を模倣しますが、デジタルストレージとアルゴリズムに基づくため、曖昧さへの対応や創造的連想には限界があります。

3.3 エージェントの記憶の表現

3.3.1 感覚記憶

感覚記憶は外部環境からの生の感覚情報を一時的に保持し、知覚処理の基盤を形成します。動的な符号化とフィルタリングを行い、注意機構により重要な情報を選択します。テキストベースのものからマルチモーダルなものまで多様な実装例があります。

3.3.2 短期記憶

短期記憶は感覚記憶と長期記憶をつなぐ動的な作業領域であり、タスク関連情報や最近の相互作用を保持し、リアルタイムの意思決定や適応行動を支えます。コンテキストメモリや作業記憶としての実装例があり、対話やゲーム、ロボティクスなど多様な応用があります。

3.3.3 長期記憶

長期記憶は情報を長期間保持し、一般化や新しい文脈への適応を可能にします。宣言的記憶（意味記憶、エピソード記憶）と非宣言的記憶（手続き的記憶、プライミング）を含み、AIエージェントでは知識ベースやベクトルデータベース、コード形式のスキル記憶などで実装されます。

3.4 記憶のライフサイクル

3.4.1 記憶の獲得

記憶獲得は環境からの情報を取り込み、学習や適応、意思決定の基盤を形成します。情報の選択と前処理（ノイズ除去、特徴抽出など）が重要であり、関連性や重要性に基づく優先順位付けが行われます。

3.4.2 記憶の符号化

符号化は獲得情報を保存・利用可能な内部表現に変換する過程で、選択的注意や多モーダル融合を用いて重要情報を抽出し圧縮します。

3.4.3 記憶の導出

記憶の導出は保存情報から知識や洞察を抽出し、学習能力を高めるために記憶の構造と内容を最適化します。反省、要約、知識蒸留、選択的忘却などの手法が用いられます。

3.4.4 記憶の検索とマッチング

記憶検索は大量の多様な記憶から関連情報を効率的に抽出し、意思決定や計画、行動に活用します。統一的な記憶表現とインデックス、文脈対応の意味的類似度計算、タスク指向の動的ルーティング、メモリ管理が重要です。

3.4.5 ニューラルメモリネットワーク

ニューラルメモリネットワークは記憶をネットワークの重みや活性化に直接組み込み、動的な読み書き可能な記憶媒体として機能させる試みです。連想記憶やパラメータ統合などの手法が研究されています。

3.4.6 記憶の活用

記憶活用は保存された情報を効果的に適用し、推論、意思決定、計画、行動生成を支援します。情報過多の回避、抽象化と一般化、誤情報の防止が課題であり、検索強化生成や長文処理、幻覚軽減技術が用いられます。

3.5 まとめと考察

記憶システムは知覚、計画、推論、行動選択など他の認知機能と密接に統合されており、単独のモジュールではありません。内部世界モデルの構築と活用により、記憶は新たな記憶の符号化や検索に影響を与えます。効果的な世界モデルと記憶システムの開発は複雑な環境の管理、抽象度の調整、多モーダル情報の統合、効率的な学習と更新、バイアス回避、継続的適応を含む多くの課題を伴います。人間の記憶の強みを活かした柔軟で適応的な記憶システムの研究が今後の重要な方向性です。

第4章

世界モデル

世界モデルは、エージェントが現実の試行錯誤を行わずに未来の状態を予測し推論することを可能にします。本章では、心理学における「メンタルモデル」とAIにおける世界モデルの関係を探り、暗黙的パラダイム、明示的パラダイム、シミュレータベースパラダイム、その他の新興手法（例：指示駆動パラダイム）に分類します。さらに、世界モデルが他のエージェント構成要素とどのように交差するかを論じ、これらの視点を統一的な理論的・実践的枠組みで結びつけるための未解決課題と今後の方向性を示します。

4.1 人間の世界モデル

人間は自然に外界の内部表象、すなわち心理学でいうメンタルモデルを構築します。これらは外部現実の簡潔で操作可能な描写であり、試行錯誤に頼らず結果を予測し、行動を計画し、新しい状況を解釈することを可能にします。空間ナビゲーションの初期研究では、人間や動物が周囲の「認知地図」を形成し、実際に移動する前に潜在的な経路を想像する能力を示しました。

Craikは人間の心は「現実の小規模モデル」を内部で動かし、出来事の展開をシミュレートし行動の可能性を評価すると主張しました。これらのシミュレーションは視覚、言語、運動制御など多様なモダリティにまたがり、予測と新たな観察の比較によって動的に更新されます。この過程は記憶の想起と未来状態の生成が密接に連携していることを示唆します。近年の予測処理理論では、脳は階層的な予測機械として機能し、感覚入力に対するトップダウンの予測を継続的に生成し、予測誤差に基づきモデルを更新するとされています。

人間のメンタルモデルは以下の特徴を持ちます。

• 予測的：環境の変化を予測し、行動や反応の意思決定に役立てる。

• 統合的：感覚入力、過去の経験、抽象的推論を統合し、「次に何が起こるか」の統一的視点を形成。

• 適応的：現実が予測と異なる場合にモデルを修正し、想像と実際の差を時間とともに縮小。

• 多スケール：異なる時間・空間スケールでシームレスに機能し、即時の物理的動態から長期計画まで同時に処理。

例えば、空腹時に人は食物の視覚、味、匂い、満足感を予測し、食物がなくても唾液分泌などの生理反応を引き起こします。満腹になると同じ食物の予測価値が動的に低下します。また、人はデザートを今は断るが後で楽しむといった反事実的シミュレーションを維持し、複雑な時間的計画を可能にします。AIの世界モデルもこれらの能力を模倣しようとしています。

4.2 人間の世界モデルからAIへの翻訳

AI研究は長らく人間のメンタルモデルが示す予測性、統合性、適応性を再現しようとしてきました。初期の強化学習では計画のための環境モデル学習が提案され（例：Dyna）、ニューラルネットワークによる未来観測の予測も研究されました。これらは内部シミュレータが反応的な試行錯誤学習より効率的な意思決定を可能にするという考えに基づきます。

深層学習の進展により、環境の潜在的生成モデル（例：「World Models」）が登場し、リカレントニューラルネットワークと変分オートエンコーダを用いて未来の軌跡を「夢見る」ことが可能となりました。これにより、エージェントはオフラインで方策を訓練・洗練できます。明示的な順方向モデルを用いるモデルベース強化学習も発展し、近似的な先読み計画が可能となっています。

また、大規模シミュレータや実ロボティクスを用いた学習も進み、子供が環境を探索し内部表象を磨く過程に類似しています。近年の言語モデルを用いた推論は、言語、視覚、運動知識を統合する可能性を示唆しています。

AI世界モデルは認知理論のメンタルモデルから、想像力、予測推論、複雑領域での適応を備えた人工エージェントへの架け橋となっています。

4.3 AI世界モデルのパラダイム

AI世界モデルの設計は、環境動態の獲得、表現、更新方法の決定を含みます。多様な実装が存在しますが、主に暗黙的パラダイム、明示的パラダイム、シミュレータベースパラダイム、ハイブリッド・指示駆動モデルに分類されます。これらは内部（ニューラルベース）と外部（ルールベース・構造化）メカニズムの依存度やシステムの複雑性で特徴づけられます。

• 暗黙的パラダイム：単一のニューラルネットワークや潜在構造が遷移と観測の写像を統合的に符号化。例としてWorld Modelsや言語モデルによる環境推論が挙げられます。計画のためにこのブラックボックス関数を展開しますが、解釈性は低いです。

• 明示的パラダイム：遷移モデルと観測モデルを分離し、独立に問い合わせ可能。MuZeroやDreamerなどのモデルベースRLが代表例です。物理法則やドメイン固有ルールの統合が容易ですが、モデル誤差に敏感です。

• シミュレータベースパラダイム：外部シミュレータや実世界を環境モデルとして利用。SAPIENやAI Habitatなどの3D物理シミュレータが例です。正確な遷移を提供しますが、計算コストや実世界のノイズに課題があります。

• ハイブリッド・指示駆動モデル：暗黙的・明示的モデルを融合し、外部知識や言語モデルを組み合わせる手法。AutoManualやCOATなどが該当し、柔軟性が高い反面、内部表現の一貫性に課題があります。

4.4 他モジュールとの関係

世界モデルは単独で存在せず、記憶、知覚、行動モジュールと連携し、動的環境での適応的行動を可能にします。

• 記憶：世界モデルは未来状態の予測を生成し、記憶は過去の経験や観察、学習パターンを蓄積。短期記憶は最新の相互作用を保持し、長期記憶は持続的な知識を保存し、世界モデルの予測を洗練します。

• 知覚：知覚モジュールは生のセンサーデータを高次表現に変換し、世界モデルはこれを用いて未来をシミュレート。知覚は世界モデルの予測を補完し、注意を誘導します。

• 行動：世界モデルは行動の結果をシミュレートし、最適な行動選択を支援。モデルベース計画や探索戦略に活用されます。

4.5 まとめと考察

AI世界モデルの進化は、予測、シミュレーション、想像力の重要性を示しています。人間のメンタルモデルの多スケール性や柔軟性を模倣し、暗黙的、明示的、シミュレータベースの各手法の利点と課題を理解することが重要です。記憶、知覚、行動との統合が知的行動の基盤であり、ハイブリッド手法の発展が今後の鍵となります。将来的には、効率的かつスケーラブルなシステム設計と、複雑な環境での長期的安定性と信頼性の確保が課題です。

第5章

報酬

報酬はエージェントが有益な行動と有害な行動を区別し、学習過程を形成し意思決定に影響を与える重要な信号です。本章ではまず人間の体内における一般的な報酬物質と対応する報酬経路を紹介し、次にエージェントにおける報酬パラダイムと関連手法を定義します。さらに他のモジュールとの相互作用を論じ、既存手法のまとめと今後の課題および最適化方向を検討します。

5.1 人間の報酬経路

脳の報酬システムは主に二つの解剖学的経路に分かれます。第一は基底前脳から中脳を経て脳幹に至る内側前脳束、第二はその前部からハベヌラを通り中脳構造に投射する背側間脳伝導系です。これらの経路は神経伝達物質、ホルモンなど多様な物質を介し、脳機能、感情、認知、行動を調節します。正のフィードバック（報酬系）や負のフィードバック（過剰神経活動の抑制）を含みます。代表的な物質にはドーパミン、神経ペプチド、エンドルフィン、グルタミン酸、GABAなどがあります。

ドーパミンは感情、動機付け、運動などに重要な役割を果たし、報酬学習の中心的な神経伝達物質です。中脳腹側被蓋野（VTA）から線条体、前頭前皮質、扁桃体、海馬などに投射し、報酬処理や動機付け、強化学習に関与します。神経ペプチドは気分調節や代謝制御に関与し、シナプスに限定されない広範な神経ネットワークに影響を与えます。グルタミン酸は興奮性シグナルを伝達し、シナプス可塑性や学習に不可欠です。GABAは主要な抑制性神経伝達物質で、報酬ネットワークの興奮性信号を調整します。

5.2 人間の報酬からエージェントの報酬へ

人間の報酬経路の基礎を踏まえ、人工エージェントが報酬信号を通じて行動を学習・最適化する仕組みを考察します。生物系は複雑な神経化学的・心理的フィードバックループに依存しますが、人工系は学習と意思決定を導くために形式化された報酬関数を用います。これらは人間の認知に着想を得つつも構造的・機能的に異なり、両者の類似点と相違点の理解は人工行動の人間的整合性に不可欠です。

人間の報酬は感情的、社会的、生理的文脈に深く根ざし、進化的に調整された神経伝達物質により形成されます。一方、人工エージェントの報酬関数は外部から明示的に定義され、行動や状態に対するスカラーまたは確率的フィードバックを提供し、強化学習などの最適化アルゴリズムを駆動します。

エージェント報酬のプログラム可能性と可塑性は人間の報酬系と大きく異なり、迅速な再定義や調整が可能です。これによりターゲット学習が可能ですが、人間の価値観を正確に反映する報酬関数設計は困難です。

また、人間の報酬は暗黙的かつ文脈依存的であるのに対し、エージェントの報酬は明示的かつタスク特化的です。エージェントは感情的直感や本能的動機を持たず、報酬信号の形式と忠実度に依存します。人間のフィードバックからの強化学習（RLHF）などはこのギャップを埋めようとしますが、複雑な人間目標の完全な捕捉は依然困難です。

さらに、人間の報酬機構を模倣しようとする試み（内発的動機や社会的承認のモデル化など）は、意識や身体性、主観的経験の欠如により限界があります。したがって、エージェント報酬設計は誤指定への耐性、敵対的操作、長期的な人間利益との整合性など根本的に異なる制約に対応する必要があります。

5.3 AI報酬パラダイム

知的エージェント、特に強化学習において報酬は環境内での行動を導く中心的信号です。報酬は行動の質を評価し、試行錯誤を通じて高報酬を得る行動戦略を学習します。

5.3.1 定義と概要

強化学習における報酬モデルは、エージェントの行動に対するフィードバックを定義し、状態と行動に基づく即時のスカラー報酬を返します。エージェントの目的は将来の割引報酬の期待値を最大化することです。

5.3.2 外発的報酬

外発的報酬は外部から定義される信号で、エージェントの行動を特定の目標に導きます。頻繁に与えられる密な報酬は学習を加速しますが、短絡的行動や代理指標への過適合を招くことがあります。まれに与えられる疎な報酬は意味のある成功基準を反映しますが、クレジット割り当てが困難です。遅延報酬は長期的結果に基づくフィードバックで、計画や抽象化を促進します。適応的報酬は学習進捗に応じて動的に変化し、継続的改善を支援します。

5.3.3 内発的報酬

内発的報酬はエージェント自身が生成する信号で、探索、学習、自己改善を促します。好奇心駆動報酬は未知や予測誤差の大きい状態を探索させ、疎報酬環境で有効です。多様性報酬は行動の多様性を促進し、協調的環境での堅牢性を高めます。能力ベース報酬はスキル向上を報酬し、自己カリキュラムを形成します。探索報酬は未踏領域への行動を奨励し、情報獲得報酬は不確実性低減を目指します。

5.3.4 ハイブリッド報酬

ハイブリッド報酬は内発的・外発的報酬を組み合わせ、探索と目標指向のバランスをとり、サンプル効率と一般化を向上させます。

5.3.5 階層的報酬

階層的報酬は複雑な目標を階層的に分解し、短期的行動と長期的目標を調整します。トークンレベルの報酬最適化などが例です。

5.4 まとめと考察

報酬信号は知覚、感情、記憶などの認知モジュールと連携し、LLMエージェントの注意、生成スタイル、記憶利用に影響を与えます。報酬は行動の質を評価し、スタイルや感情表現を調整し、記憶の強化を促進します。報酬の設計には報酬の希薄性、報酬ハッキング、報酬形成のバランス、マルチオブジェクティブ問題、報酬誤指定など多くの課題が存在し、メタ学習や階層的設計などの新たなアプローチが求められます。

第6章

感情モデリング

感情は人間の思考、意思決定、対人関係において重要な役割を果たします。感情は状況理解や選択、関係構築を導きます。アントニオ・ダマシオは『デカルトの誤り』で、感情は論理から独立したものではなく、推論や行動と深く結びついていると説明しました。LLMエージェントの開発において、感情機能の追加はこれらのシステムをより賢く、適応的にし、周囲の世界をよりよく理解させる可能性があります。

LLMエージェントにとって感情は、人間と同様に意思決定の道具として機能します。感情はタスクの優先順位付け、リスク理解、新たな挑戦への適応を助けます。マーヴィン・ミンスキーは『感情の機械』で、感情は思考過程を調整し、より柔軟で創造的な問題解決を助ける方法と述べました。同様に、感情的特徴を持つLLMエージェントは複雑な問題解決や人間らしい意思決定能力を向上させる可能性があります。

しかし、LLMエージェントへの感情統合はまだ初期段階です。研究者は感情機能がこれらのシステムをどのように改善できるかを探り始めたばかりです。さらに、LLMエージェントは共感的な会話、メンタルヘルス支援、ユーザーとのより良い関係構築を通じて人間の感情的幸福を支援する大きな可能性を持っています。この有望で挑戦的な分野は心理学、認知科学、AI倫理などの分野の協力を必要とします。研究が進むにつれ、感情理解を備えたLLMエージェントは技術との関わり方を再定義し、人間と機械の間により深い信頼と意味のある関係を築くでしょう。

以下の節では、感情がLLMエージェントの形成に果たす役割を詳述します。感情が学習と適応性をどのように強化するか、LLMが人間の感情をどのように理解するか、そしてこれらのシステムが自身の感情状態をどのように表現・モデル化するかを探ります。また、感情がLLMエージェントの行動や人格にどのように影響を与えるか、そしてこれらの能力に伴う倫理的・安全上の懸念についても考察します。これらの議論は、より知的で共感的かつ人間の価値観に整合したLLMエージェントを創出するための感情の基礎的重要性に基づいています。

6.1 感情の心理学的基盤

感情の心理学的・神経科学的理論は、感情的に知的なLLMエージェント開発のための重要な枠組みを提供します。これらの理論は主にいくつかの主要なアプローチに分類され、それぞれが感情の機能やAIシステムへの実装方法に独自の視点を提供します。

• カテゴリカル理論：感情は離散的で普遍的なカテゴリーとして存在し、特有の生理的・行動的特徴を持つとします。エクマンの基本感情理論は怒り、嫌悪、恐怖、幸福、悲しみ、驚きの6つを特定し、文化を超えて認識される顔の表情を示します。この離散的アプローチは感情分類システムに影響を与え、LLMエージェントのユーザー感情分類や適切な応答生成に利用されますが、人間の複雑で混合的な感情体験を単純化しすぎる批判もあります。

• 次元モデル：感情を快・不快（価）と覚醒度の連続空間上の点として表現します。ラッセルのサーカムプレックスモデルはこれを示し、高覚醒のパニックと低覚醒の不安を区別します。PADモデルは支配性の次元を加え、感情の制御感を捉えます。これらはLLMの感情的応答の微調整やユーザー感情の微妙な変化追跡に有用です。

• ハイブリッド・構成的枠組み：カテゴリカルと次元モデルの限界を補うため、プルチックの感情の輪やシェラーの構成過程モデル（CPM）、OCCモデルなどが提案されています。OCCモデルは出来事や対象の評価に基づく22種の感情を定義し、対話システムでの感情応答生成に利用されます。LLMエージェントはこれらのモデルを用いて文脈に応じた感情応答を生成し、共感性と一貫性を向上させます。

• 神経認知的視点：ダマシオのソマティックマーカー仮説は、身体と脳の相互作用を通じて感情が意思決定を導くとします。扁桃体の迅速な「警報」信号と皮質の遅い熟慮的処理の二重プロセス構造が示され、LLMシステムでも高速感情検出モジュールと詳細推論の併用が試みられています。報酬の分布的強化学習や恐怖処理の「低路・高路」モデルも設計指針となっています。

これらの理論は感情的に知的なLLMエージェント開発に活用されており、カテゴリカルモデルは感情分類に、次元モデルは連続的制御に、ハイブリッドモデルは混合感情の処理に、評価モデルは文脈に応じた感情応答に役立ちます。神経科学に基づく二重プロセスアーキテクチャは迅速な安全応答と深い感情理解を可能にします。今後はこれらの理論をLLMエージェントの内部プロセスに体系的に翻訳することが重要です。

6.2 AIエージェントへの感情統合

感情知能の統合はLLMの性能と適応性を向上させる変革的アプローチです。EmotionPromptの研究は、感情刺激を含むプロンプトが生成タスクの真実性や責任感を約10.9%向上させることを示しました。感情的に強化されたプロンプトはLLMの注意機構を影響し、より微妙な表現を可能にします。Emotion-LLaMAなどのマルチモーダルモデルは音声、映像、テキストを統合し、感情理解と生成を改善します。これらは技術的堅牢性と人間中心AI開発を橋渡しし、知的かつ共感的なシステムの実現に寄与します。

6.3 AIによる人間感情の理解

テキストベースの手法では、LLMは明示的な手がかりがなくても段階的推論で感情を推定できます。複数のLLMが相互評価する交渉的フレームワークも提案され、文脈に応じた繰り返し推論が重要視されています。マルチモーダル手法では音声、映像、画像の信号を統合し、感情の深い表現を可能にします。専門的なシステムは曖昧さや文脈依存性を考慮し、動的かつ確率的な感情理解を目指します。評価ベンチマークも多様化し、感情認識の課題や文化適応、共感の文脈依存性が明らかになっています。

6.4 AIの感情と人格の分析

LLMは人間中心の人格テストで一貫性に欠ける結果を示すこともありますが、特定のプロンプトで安定した人間らしい特性を示すこともあります。心理測定法や認知モデリングを用いた研究は、LLMが不安やリスク志向などの潜在的表象を近似できることを示しています。感情知能研究では、LLMは標準的なテストで平均的な人間を上回る能力を示すこともありますが、文脈変化や否定的入力で失敗することもあります。階層的感情構造や共感的行動は大規模モデルで顕著に現れ、感情整合の可能性と倫理的課題を示しています。

6.5 AI感情応答の操作

プロンプトベースの手法では、特定の人格や役割を与えることで感情的・人格的な出力を誘導できます。トレーニングベースの手法は微調整やパラメータ効率的な方法で感情特性を埋め込み、長期対話での感情状態維持や解釈性を向上させます。ニューロンベースの手法は人格特異的ニューロンを操作し、モデル全体の再訓練なしに感情特性を制御します。

6.6 まとめと考察

感情AIの急速な普及は操作やプライバシーリスクを伴います。感情AIは顔表情や声のトーンなどの生体情報を収集し、ターゲット広告や政治的影響に利用されることがあります。GDPRやEU AI法などの規制がリスク軽減に重要です。感情AIの誤解や偏見は医療や教育などの重要領域で問題を引き起こし、職場での差別や権力不均衡を悪化させることもあります。RLHFなどの技術はこれらの問題緩和に有効ですが、多様な文脈での堅牢な整合性確保にはさらなる開発が必要です。

倫理的には、AIの共感性や社会的適切性が信頼と受容に大きく影響しますが、感情の商業利用は労働倫理や人間関係に懸念を生じさせます。擬人化された感情表現はユーザーの信頼を損なう恐れがあり、心理療法技術を組み込んだSafeguardGPTなどの枠組みが信頼構築に寄与しています。LLMは実際に感情を「感じる」わけではなく、確率的モデリングによる感情模倣に過ぎません。このシミュレーションと現実のギャップは技術的・倫理的課題を生み、感情的行動を示すAIへの過度な擬人化や誤った期待を招く可能性があります。研究と展開においてはこの区別を明確にし、LLMの感情能力が人間と異なることを透明に伝えることが重要です。

感情は人間の知能の重要な一部であり、LLMエージェントの設計においても重要な要素となるでしょう。心理学や神経科学の理論をLLMの内部プロセスに体系的に翻訳し、感情を活用したより知的で共感的なエージェントの実現が今後の課題です。

第7章

知覚

知覚は人間と知的エージェントが情報を取得し、周囲を解釈し、適切な意思決定を行うための基盤的な入り口です。人間の知覚はシームレスで直感的に感覚入力を意味ある解釈に変換しますが、人工知能における知覚システムはこれを模倣し、時には超えるように精緻に設計されており、複雑な環境での相互作用、学習、適応能力に大きな影響を与えます。

本章ではまず人間とAIエージェントの知覚の性質と効率の違いを探り、次に知覚入力の形式と表現に基づくエージェント知覚の分類を行います。続いて知覚システムの課題と改善の方向性をモデルレベルとシステムアーキテクチャレベルで論じ、最後に知覚モジュールの応用例を示し、最適化の実践的指針と今後の研究課題を提案します。

7.1 人間とAIの知覚の違い

知覚は知能の基盤であり、人間と人工エージェントが世界と関わるインターフェースです。人間は視覚、聴覚、味覚、嗅覚、触覚の五感に加え、平衡感覚、固有受容感覚、温度感覚、痛覚など多様な感覚を持ち、これらを統合して複雑な行動を可能にしています。動物はさらに磁気受容や電気受容など特殊な感覚を持つこともあります。

人間の感覚は特定の物理信号に鋭敏に反応し、例えば視覚は約380〜780nmの電磁波、聴覚は約20Hz〜20kHzの音波を感知します。これにより言語コミュニケーション、物体認識、社会的相互作用、空間ナビゲーションが可能となります。時間的連続性や動きの知覚も自然に統合され、協調的な動作や意思決定に不可欠です。

一方、人工エージェントは環境刺激をデジタル信号に変換するセンサーに依存します。一般的なセンサーにはカメラ、マイク、触覚センサー、慣性計測装置などがあり、視覚、聴覚、テキストデータの処理に優れていますが、味覚や嗅覚の正確な模倣は困難です。例えば、香港科技大学の生体模倣型嗅覚チップは24種の匂いを識別しますが、人間の4000種以上には及びません。

知覚処理の効率も異なります。人間の神経伝達速度はミリ秒単位ですが、AIはマイクロ秒やナノ秒単位で処理可能です。人間は多感覚情報を自然に統合しますが、AIは多様なセンサー入力を明示的に融合するアルゴリズム設計が必要です。

時間・空間情報の扱いも異なり、人間は連続的かつ流動的に時間経過や空間運動を知覚しますが、AIは離散的なサンプリングや時系列処理で連続性を模倣します。空間認識は人間が視覚、聴覚、前庭感覚を統合するのに対し、AIはSLAMや3D再構築などのアルゴリズムを用います。

7.2 知覚表現の種類

7.2.1 単一モーダルモデル

人間は環境で音楽を聴き、日の出を見て、舞台での視聴覚体験を楽しみます。これらは単一の画像や音声、または複数の知覚内容の融合です。エージェントの知覚入力も単一モーダルとマルチモーダルに分けられ、実装と違いを紹介します。

• テキスト：コミュニケーション手段として豊富な情報、思考、感情、文化を含みます。人間は視覚や聴覚で間接的にテキストを理解しますが、エージェントは直接テキストを入力・出力として扱います。初期は単語袋モデルが用いられましたが、BERTやGPT-3.5などのトランスフォーマーモデルが深い意味理解を実現し、LoRAなどで効率的な微調整が可能です。

• 画像：空間情報を内包し、物体の形状、位置、関係、運動特性を含みます。ResNet、YOLO、DETR、DINOなどのコンピュータビジョンモデルが発展し、オープンセット検出や一般化能力を向上させています。

• 動画：連続する画像フレームで時間軸を含み、動的情報を表現します。ViViTやVideoMAEなどが時空間特徴を抽出し、新たなシナリオでの知覚能力を支えます。

• 音声：テキスト内容に加え話者のトーンや感情を含みます。Wav2Vec2やFastSpeech2、Seamlessなどが音声認識や合成を高め、エージェントの聴覚・発話能力を支えます。

• その他：嗅覚や味覚、触覚、痛覚などの感覚も研究されており、バイオインスパイア型センサーや多様なモダリティを統合するシステムが開発されています。

7.2.2 クロスモーダルモデル

テキストと画像の統合など、異なるモダリティ間の関係構築や変換を行うモデルです。CLIPやALIGNはテキストと画像の埋め込みを整合させ、DALL·EやStable Diffusionはテキストから高品質な画像生成を実現します。BLIPは画像からテキスト生成を行います。

動画テキストの整合や生成、検索も進展し、VideoCLIPやMake-A-Video、Phenakiなどが高品質な動画生成や検索を可能にしています。

音声とテキストのクロスモーダルモデルも発展し、AudioCLIPやVATT、AudioGenなどが音声認識や生成を強化しています。

7.2.3 マルチモーダルモデル

複数のモダリティを統合し、補完的情報を活用して全体の性能を向上させるモデルです。視覚と言語を統合するVLMはLLaVAやMiniGPT-v2、Qwen2-VLなどがあり、動画や音声も含むモデルも登場しています。エッジデバイス向けの軽量モデルやGUI操作に特化したモデルも開発されています。

7.3 知覚システムの最適化

知覚誤差や誤解、幻覚はLLMエージェントの信頼性と効果に大きな課題をもたらします。最適化にはモデル、システム、外部レベルでの多様な戦略が必要です。

7.3.1 モデルレベルの強化

• 微調整：LLaVAなどの事前学習済みモデルをドメイン固有データで微調整し、認識精度を向上させます。LoRAなどの効率的微調整も活用されます。

• プロンプト設計：明確な指示や文脈情報、フォーマット指定により誤解や幻覚を減らします。

• 検索強化生成：外部知識を活用し、事実に基づく応答を促進します。

7.3.2 システムレベルの最適化

• 予測・再評価機構：不完全・曖昧な情報に対し、過去データに基づく予測と新情報による再評価で堅牢性を高めます。

• マルチエージェント協調：情報共有や誤り訂正、合意形成を通じて集団的知覚精度を向上させます。

• エージェントの専門化：役割分担により知覚の効率と精度を高めます。

7.3.3 外部フィードバックと制御

• 損失エージェント：LLMを損失関数の動的調整に用い、複雑な評価基準に適応します。

• ヒューマンインザループ：人間のフィードバックと監督で誤り訂正と学習誘導を行います。

• コンテンツ・出力調整：ユーザーへの出力前にフィルタリングし、安全性と整合性を確保します。

7.4 知覚の応用

知的エージェントの性能はモデル規模、ハードウェア、量子化最適化に大きく依存します。パラメータ数の増加に伴い処理遅延も増加しますが、ハードウェアの性能向上により処理能力は向上しています。

知的エージェントはパーソナルアシスタント、ゲーム、RPA、マルチメディア生成など多様な分野に進出し、主に視覚知覚を活用しています。MinecraftのSTEVEは視覚情報処理で技術ツリー進行やブロック探索効率を大幅に向上させました。AssistEditorやAudio-Agentはマルチエージェント協調による映像編集や音声操作を実現しています。

モバイル・デスクトッププラットフォームではExACTやSPA-Bench、M3A、AgentStoreなどが性能向上を示しています。音声対話は操作の摩擦を減らし、感情的抑揚の統合でユーザーエンゲージメントを高めています。触覚・力覚フィードバックは環境との精密な相互作用に不可欠です。

7.5 まとめと考察

統一的マルチモーダルモデルの研究が進む一方で、知覚システムは多様なモーダルデータの解釈と統合に課題を抱えています。表現学習、整合、融合の問題が堅牢で一般化可能な知覚システムの開発を妨げています。

表現方法は多様なモーダルデータの微妙なニュアンスを捉えきれていません。異種データの統合は計算負荷が高く、不整合が誤解を生みます。融合過程で重要情報の損失も懸念されます。

今後は環境やタスクに応じて構造を自動調整する動的ニューラルアーキテクチャによる適応的表現学習、自己教師付き時空間同期、因果推論の統合、階層的注意機構の深化、微分可能メモリネットワークの活用などが期待されます。

第8章

行動システム

哲学の領域では、行動はエージェントが環境内で特定の目的や潜在的な目的のために実行できる振る舞いと定義されます。例えば、操作、移動、推論、道具の利用は、知的エージェントが現実世界の目標を達成するために実行できる基本的な行動とみなされます。つまり、行動はエージェントが目標志向的に環境に関与し、目標達成のために外界を変革しようとする意図を反映しています。したがって、行動システムはAIエージェントと基盤モデル（例：LLM）を区別する重要な役割を果たします。基盤モデルは多様なタスクで優れた性能を示しますが、主に事前学習目的（例：次トークン予測）に依存しており、タスク範囲は限定的です。行動システムを備えたAIエージェントは環境と直接関わり、複雑なユーザー意図を実行できます。さらに、行動システムは外部環境の利用可能なツールを活用し、エージェントのタスク範囲を大幅に拡張します。したがって、行動システムの設計は知覚、意思決定、実行、ツール利用などの能力を決定し、人間の脳との整合性を左右します。基盤モデルがエージェントの基礎を築く一方で、行動システムは複雑な目標達成の最終的な可能性を決定します。効果的かつ包括的な行動システムの設計は重要な課題であり、多くの挑戦と利点を伴います。図8.1は認知システムにおける行動システムの実行過程を示します。

8.1 人間の行動システム

人間の認知における行動システムは、動的環境と相互作用し、意思決定し、フィードバックに基づいて行動を適応させる複雑なシステムです。一般に、行動システムは精神的行動と身体的行動に大別されます。

• 精神的行動は思考過程として最終的な意図を駆動し、推論、意思決定、想像、計画などが含まれます。精神的行動は身体的行動を駆動する脳信号に相当します。

• 身体的行動は目標志向的な身体運動であり、話す、操作する、描く、走る、把握するなど連続的な行動として表現されます。これらの行動を通じて人間は環境と相互作用し、フィードバックを得ます。

図8.2は精神的・身体的行動の分類を示し、人間認知システムが多様な複雑タスクを処理できることを示しています。これに着想を得て、言語からデジタル、物理環境までのAIエージェントの行動システム設計を再考することが重要です。

8.2 人間の行動からエージェントの行動へ

長期にわたり、人間の行動システムは自律的コンピュータシステムの開発に大きな影響を与えてきました。人間の脳では意識的・無意識的思考信号が生成され、精神信号に変換され、最終的に一連の行動操作に至ります。この多段階パイプラインは行動空間の構築、意思決定の学習機構の形成、外部状態（例：ツール）の統合を含みます。これらの原理はAIエージェントのプロトタイプ設計に不可欠です。

多くのフレームワークは行動学習を設計に組み込み、出力として利用しています。LLM、LMM、RFM、LAMなどの基盤モデルの定義を表8.1に示します。LLMは言語出力を生成し、LMMはマルチモーダルデータを生成し、RFMは動的環境の感覚入力に基づくロボット制御を行い、LAMは環境内の相互作用に基づく実行可能な行動を生成します。言語ベースやデジタルAIエージェントはこれら基盤モデルを用い、行動空間と学習戦略を定義します。RFMは大規模動画データで事前学習し、ロボット制御行動をシミュレートします。LAMは行動戦略生成、環境との相互作用、自己学習パラダイムを強調します。

人間はシナリオに応じて行動空間を事前定義し、例えばMinecraftのゲーム操作をキーボードやマウスで行います。人間の認知システムは実世界の相互作用を通じて新知識を継続的に獲得し、行動シーケンスを生成・最適化します。さらに、道具の使用は人類知能進化の重要な節目であり、外部ツールの活用により問題解決能力を大幅に拡張しました。

これらを踏まえ、AIエージェントの行動システム設計には、特定シナリオから一般領域までの行動空間構築、環境内での行動学習、外部状態（ツール）活用によるタスク範囲拡大が含まれます。本調査はこれらの理解を深め、AIエージェントの行動システムの重要性を明確にします。

8.3 エージェント行動システムのパラダイム

AIエージェントの行動システムは主に、1) 実世界や下流タスクでエージェントが実行可能な全行動を含む行動空間、2) 環境内での行動学習を決定する状態と最適化過程、3) 物理的デバイスやAPIなどの外部ツールの利用を含むツール空間の三つの主要要素で構成されます。これらはエージェントの行動システムの範囲と特性を定義し、形成と実行に影響を与えます。

行動空間は低レベル操作から複雑なワークフローを統括する高レベルオペレータまで多層的に検討されます。エージェントの意思決定は観察に基づき現在状態を変換する行動選択の軌跡として形式化され、外部ツールの統合も必要です。

8.3.1 行動空間パラダイム

行動空間はAIエージェントの行動システム構築の基盤であり、複雑なタスク解決能力を決定します。既存研究では言語、デジタル、物理の三種に大別されます。

• 言語：言語駆動の行動空間で、推論、プログラミング、情報検索、API呼び出し、外部ツール操作などを含みます。ReAct、AutoGPT、Reflexion、LLM+Pなどが代表例です。コードを直接行動空間とする研究もあり、MetaGPTやChatDevはプログラミング言語を用いたマルチエージェント協調を実現します。言語ベースエージェントは言語的相互作用に強い一方、実世界の複雑タスク解決には行動空間の拡張が必要です。

• デジタル：言語を超え、ウェブプロキシ、オンラインショッピング、ゲームなどのデジタル環境で動作するエージェント。MineDojo、Voyager、JARVIS-1、SwarmBrainなどがあり、マルチモーダル入力・出力を扱います。WebGPT、WebAgent、WebShop、Mind2Webなどはウェブ検索やGUI操作を通じて能力を拡張します。モバイル・デスクトップ向けのGUI操作エージェントも開発されています。

• 物理：実世界との相互作用を目指すエージェント。RT-2、TidyBot、SayCan、SayPlan、EmbodiedGPTなどがあり、ロボット制御や3Dシーン理解を行います。連続信号の処理や連続行動生成は依然課題です。

• 科学：科学分野でのツール統合により、材料科学、化学、医療などで複雑課題の解決を支援。HoneyComb、ChemCrow、SciToolAgent、SciAgentなどが代表例です。

8.3.2 行動学習パラダイム

行動学習はエージェントが環境と相互作用し、行動方策を最適化する過程です。主な学習パラダイムは文脈内学習、教師あり学習、強化学習です。

• 文脈内学習：LLMの既存能力を活用し、プロンプトで行動を理解・実行・反省し目標達成を目指す。CoT、ReAct、LearnAct、Auto-CoT、ToT、GoT、CoA、Least-to-Most、HuggingGPT、Plan-and-Solve、Progprompt、Generative Agents、MetaGPT、ChatDev、SWE-Agent、Reflexion、Self-refineなどが代表的。パラメータ最適化不要で多様なドメインに適応可能だが、より強力な行動学習には課題が残る。

• 教師あり学習：大規模データでの事前学習と微調整により行動能力を向上。RTファミリー、GR-2、LAM、OpenVLA、CogACT、RT-H、UniActなどがあり、ロボット制御やコンピュータ操作に適用。事前学習は計算コストが高く、微調整と文脈内学習の組み合わせが効果的。

• 強化学習：環境との相互作用を通じて行動方策を最適化。DQN、PPO、InstructGPT（RLHF）、DPOなどが代表的。LLMの知識を活用し、想像的軌跡生成や階層的RLで複雑タスクに対応。安定性や大規模適用に課題があるが進展中。

8.3.3 ツールベース行動パラダイム

ツール学習は人間知能の特徴であり、AIエージェントがデジタル・物理環境で多様なツールを活用することは人間レベル知能への重要な一歩です。

• ツール定義：外部世界と相互作用するためのインターフェースやリソース。例としてウェブ検索、データベース、コーディング環境、天気予報など。基盤モデルはツール機能をテキストやAPI形式に変換し、問題解決範囲を拡大。

• ツールカテゴリ：言語（API呼び出しなど）、デジタル（マルチモーダル、ウェブ、GUI）、物理（ロボット制御）、科学（材料科学、化学、医療）に分類。ツール発見、作成、使用の段階があり、各段階で多様な手法が研究されている。

• ツール発見：適切なツールの選択。HuggingGPTはLLMをコントローラとしてタスク計画とモデル呼び出しを行う。ToolFormerやToolLLMはAPI呼び出しの生成を学習。

• ツール作成：新規ツールの開発。PAL、LATM、Creatorはプログラム生成を通じてツールを作成。SciAgentは科学的発見のためのツール作成も行う。

• ツール使用：収集・作成したツールの効果的活用。専門分野での性能向上、多モーダル問題解決、物理環境との相互作用を可能にする。

ツール学習はAIエージェントの万能性を高め、基盤モデルの範囲を超えた複雑タスク解決を可能にします。

8.4 行動と知覚：「外から内へ」か「内から外へ」

認知科学と神経科学の中心的議論は、知的システムにおける因果の流れの根源が行動か知覚かという点にあります。伝統的な「外から内へ」モデルは外部刺激が感覚器を興奮させ、信号が脳に伝わり行動を生むとします。これは反応的なシステムを想定します。一方、Buzsákiの「内から外へ」モデルは、エージェント自身の行動が感覚信号の意味と結果を形成すると提案します。エージェントは予測と運動指令を生成し、感覚領域に「相関放電」や「行動コピー」を送ります。これにより自己生成の信号が外部刺激の解釈を導き、因果が外部から内部へではなく内部から外部へと転換します。

進化的観点では、洗練された感覚分析に依存せずに動ける能力は生存に有利であり、単純な生物でも周期的な動きで餌をかき混ぜることができます。つまり、行動は感覚の発達に先行し、行動機構が確立して初めて感覚が戦略的に動きを導きます。この順序は感覚を実用性に結びつけ、感覚識別を動作の結果に結びつけます。

行動と知覚の正常な相互作用の破綻は複雑な因果ループを示します。睡眠麻痺では運動指令が筋肉に届かず、外部刺激は感知されるものの行動に基づく感覚調整が失われ、非現実感が増します。外部から目を動かすと視界が動いて見え、自己生成の行動なしの知覚は混乱を招きます。神経生理学的データは多くの感覚領域ニューロンが外部刺激だけでなく自己生成運動も追跡することを示し、脳内の「原因」はしばしば内部から生じることを示唆します。

内から外への視点は能動的エージェント研究に示唆を与えます。多くのAIシステムやLLMエージェントは受動的で、ユーザー入力を待ち統計的相関に基づき応答します。能動的エージェントは自己生成の行動を通じて感覚入力を能動的に形成・検証し、曖昧さを減らせます。例えば、自己質問や知識ベース検証を行うLLMエージェントは自己生成推論と外部データ要求を区別し、整合性を高め誤謬を減らせます。自己生成信号の追跡は「幻覚」軽減や内部状態の洗練に寄与します。

能動的姿勢は効率的かつ文脈依存の学習を促進し、ラベル付き例を待つ受動的学習よりも優れます。エージェントは探索、フィードバック誘発、自己生成経験の統合を通じて学習し、行動と知覚の密接な結合は複雑課題への適応と一般化を強化します。外から内へのモデルから内から外へのモデルへの転換は、知覚を行動駆動の仮説更新手段と再定義します。生物的・人工的知的システムは行動が感覚信号の意味と大きさを導き、外部刺激は確認的役割を果たします。

8.5 まとめと考察

行動は環境からのフィードバックに基づく人間認知の振る舞いであり、思考、推論、発話、運動、複雑操作を可能にします。行動システムは知覚や行動を通じて脳の知能を進化させ、閉ループを形成し文明と革新を生み出します。AIエージェントにおいても行動システムとツールシステムは重要であり、行動システムは計画、実行、調整を可能にし、動的環境での適応性と堅牢性を高めます。

本節では行動モジュールの影響を体系的に検討し、行動システムとツールシステムに焦点を当てます。行動システムは行動空間、行動学習、ツール学習の三要素で構成され、行動空間はエージェントが実行可能な行動の全体を含み、タスク解決能力を決定します。行動学習は環境との相互作用を通じて方策を最適化し、文脈内学習、教師あり学習、強化学習などのパラダイムがあります。ツール学習は外部ツールの発見、作成、使用を含み、エージェントの能力を大幅に拡張します。

行動と知覚の因果関係に関する議論では、伝統的な「外から内へ」モデルとBuzsákiの「内から外へ」モデルを比較し、後者は行動が感覚信号の意味と結果を形成すると提案します。内から外への視点は能動的エージェントの設計に示唆を与え、自己生成信号の追跡や能動的学習を促進します。

行動システムはAIエージェントの問題解決能力の基盤を築き、複雑なタスクへの対応を可能にします。今後の課題には効率性、評価、多モーダル行動学習、プライバシー、安全性などがあり、基盤モデルとツールシステムの最適なバランスも重要です。

---

第II部

自己進化する知的エージェント

第9章

自己進化のための最適化空間と次元

自律エージェントの最適化は多層的な抽象度を含む複雑な課題です。本章ではまず、基盤となるプロンプト最適化を確立し、そこからエージェントワークフロー最適化、ツール最適化、包括的自律エージェント最適化の三つの異なる最適化分野が展開されることを示します。

9.1 エージェント最適化の概要

既存のLLMベースエージェント最適化は二層構造として概念化できます。基盤はプロンプト最適化で、言語モデルノードの基本的な対話パターンを強化します。これに基づき、三つの並列分野が生まれます。i) 複数のLLMノード間の協調と相互作用に焦点を当てたワークフローレベルの最適化、ii) 新たなタスク適応や過去データ活用のためのツール開発・改善を伴うツール最適化、iii) 複数次元を考慮したエージェント能力の包括的強化を目指す自律エージェント最適化です。

AutoMLの最適化パラダイムに類似し、エージェント最適化は単一目的または多目的に分類されます。現代の最適化は主に性能、推論コスト、レイテンシの三指標に集中します。性能はタスク達成度を示し、推論コストは計算資源消費を、レイテンシは応答時間を表します。これらは最適化モダリティにより変動し、プロンプト長などの制約も考慮されます。複数の競合要件のバランスが必要です。

9.2 プロンプト最適化

プロンプト最適化はLLMベースエージェント最適化の中核です。モデルレベルの最適化を超え、タスク特化やモデル特化のプロンプト最適化は性能、レイテンシ、コストに直接影響します。タスクT=(Q, Gt)に対し、入力クエリQとオプションの正解Gtに基づき、性能最大化を目指すタスク特化プロンプトP→tを生成します。

最適化は主に三つの関数で実装されます。最適化関数は評価信号に基づき既存プロンプトを改良し、実行関数は現在のプロンプトを呼び出して出力Oを得、評価関数は出力を評価し評価信号Sevalと最適化信号Soptを生成します。評価信号は効果的なプロンプト選択に用いられ、最適化信号は改良の指針となります。

9.2.1 評価関数

評価関数は最適化信号の基盤であり、評価源、方法、信号タイプの相互作用を通じて継続的改善を促します。評価源は主にLLM生成出力Gllmとタスク特化の正解Gtで、両者の比較やGllm単独の評価が行われます。評価方法はベンチマーク評価、LLMジャッジ、ヒューマンフィードバックに大別されます。ベンチマーク評価は自動化される一方、設計の人間的整合性に依存します。LLMジャッジは人間の好みと整合した評価を提供し、プロンプト設計とモデル整合性が効果を左右します。ヒューマンフィードバックは最も高精度ですがコストが高いです。

信号タイプは数値的フィードバック、テキストフィードバック、ランキングフィードバックに分かれ、各々が異なる最適化ニーズに対応します。

9.2.2 最適化関数

最適化関数は各反復で生成プロンプトの質を決定し、評価信号に基づく探索や言語モデルの能力を活用した進化的手法、失敗原因予測を用いた最適化、テキスト勾配を用いた多プロンプト改良、二次最適化シミュレーションなど多様な方法があります。

9.2.3 評価指標

評価は性能指標（正確度、F1、ROUGE-Lなど）、効率指標（計算資源、サンプル数）、定性的指標（一貫性、公平性、信頼度）で行われます。

9.3 ワークフロー最適化

複数のLLMコンポーネントの協調が必要な複雑タスクに対し、エージェントワークフロー最適化が重要です。エージェントワークフローは特定サブタスクを担うLLMノードの集合で、多エージェントシステムと似ますが、決定的な自律性は持ちません。MetaGPTやAlphaCodiumなどが例です。

ワークフローはノード（LLM呼び出し）とエッジ（ノード間の接続）で構成され、構造と動作パラメータを定義します。最適化目標はタスク達成度、計算効率、レイテンシのバランスをとることです。

9.3.1 ワークフロー定式化

エージェントワークフローK=(N,E)はLLMノードNとノード間エッジEの集合で、ノードは利用可能な言語モデル、温度パラメータ、プロンプト空間、出力形式空間を含みます。

9.3.2 エッジ最適化

エッジ空間はグラフベース、ニューラルネットワークベース、コードベースの三つの表現パラダイムがあり、それぞれ最適化の特性と制約が異なります。グラフは階層的・並列的関係を表現し、ニューラルネットは非線形関係を捉え、コードは条件分岐やループを含む最も表現力豊かな形式です。

9.3.3 ノード最適化

ノード空間は出力形式、温度パラメータ、プロンプト空間、モデル空間の四次元で構成されます。ノード数の増加により探索空間は指数的に拡大し、効率的な最適化戦略が必要です。

9.4 ツール最適化

エージェントは複数ターンの計画能力と外部世界とのツール連携能力を持ち、ツール最適化はツール選択、呼び出し、統合の評価と改善を通じて性能と適応性を高めます。重要指標は意思決定精度、検索効率、選択精度、計画能力、リスク管理です。ツール学習とツール作成の二つの戦略があります。

9.4.1 ツール使用学習

凍結基盤モデルの文脈内学習とは異なり、学習ベース手法はLLMエージェントを専門家行動の模倣や強化学習で最適化します。模倣学習は人間のツール使用行動を模倣し、強化学習は報酬に基づき方策を改善します。推論戦略や微調整もツール利用効率向上に寄与します。

9.4.2 新規ツール作成

既存ツールの最適化に加え、タスク理解とツール使用状況に基づく新規ツールの動的作成がエージェントの適応性と効率を大幅に向上させます。ToolMakersはPython関数の生成、検証、ラッピングを自動化し、CREATORは抽象推論からツール作成・実行・修正までのライフサイクルを提案します。CRAFTはドメイン特化ツールを事前作成し、説明可能なツールチェーンを構築します。

9.4.3 ツール効果評価

ツール使用能力の評価は呼び出し精度、検索効率、階層的選択精度、計画能力、リスク管理、学習能力を含みます。多様なベンチマークが開発され、実世界の複雑なツール使用を評価します。評価指標には正確な呼び出し判定、ツール選択精度、ランキング指標、計画の質などがあります。

9.5 自律エージェント最適化に向けて

プロンプト、ツール、ワークフローなど個別モジュールの最適化に加え、エージェントシステム全体の多次元最適化が研究されています。これによりLLMエージェントの包括的進化が可能となりますが、個別要素の影響と複雑な相互作用を考慮する必要があります。

ADASはエージェントシステムの設計問題を定式化し、メタエージェントがワークフロー、プロンプト、ツールを反復的に設計・最適化します。実験では自動設計エージェントが手動設計を上回る成果を示しました。

他にも言語ベースのシンボリック学習フレームワークや自己参照的なコード最適化、LLMによるワークフロー・プロンプト自動設計などの研究が進んでいます。

全体最適化は個別最適化の単純な集積ではなく、複雑な相互依存を考慮した高度な手法が必要です。これにより効果的かつ包括的なエージェント進化が実現されます。

第10章

最適化者としての大規模言語モデル

本章では、LLMを最適化者として概念化した既存研究を紹介・議論します。多くの研究は主に第9章の式(9.1)で定義されたプロンプト最適化問題に焦点を当てており、エージェントワークフローの他の構成要素の最適化は新興分野です。まず古典的な反復アルゴリズムとの類似性を示し、現代の最適化ワークフローへの統合を検討します。

10.1 最適化パラダイム

従来の最適化手法は目的関数のアクセス性に基づき三つに分類されます。勾配ベース最適化は明示的な勾配情報を用いパラメータを反復的に改良します。ゼロ次最適化は勾配情報なしに関数評価から探索方向を推定します。LLMベース最適化は数値関数を超え、構造化かつ高次元の入力空間を自然言語を用いて最適化します。

• 勾配ベース最適化：確率的勾配降下法やニュートン法などが代表的で、微分可能性が必要なため、プロンプトチューニングや構造化意思決定ワークフローに限定されます。

• ゼロ次最適化：ベイズ最適化、進化戦略、有限差分法などがあり、勾配が得られない場合に有効ですが、数値目的関数と構造化探索空間に依存します。

• LLMベース最適化：自然言語を最適化領域とフィードバック手段として活用し、構造化推論や人間的反復を組み込み、プロンプト改良や適応的ワークフロー生成、ユーザーフィードバックに基づく性能向上に優れます。

勾配ベース・ゼロ次最適化は数値目的に適用されますが、反復改良や探索ヒューリスティック、適応学習などの原理はLLM最適化にも共通します。強化学習を用いたLLM最適化は遅延思考推論モデルの基盤となり、今後のエージェント応用を牽引すると期待されます。

10.2 LLM最適化の反復的アプローチ

LLMベース最適化は古典的最適化理論から着想を得て、離散的・構造化課題に対応するための反復更新を特徴とします。モデル生成の改良案から最適なものを選び目的を洗練します。式(9.1)のプロンプト最適化を例に、一般的な反復アルゴリズムは以下のように表されます。

• サンプリング：候補を生成

• 評価：候補の性能を評価

• 更新：最適な候補に基づき改良

• （任意）補充：多様性維持のため候補を補充

ランダムサーチ

初期のLLM最適化は離散的自然言語空間でのランダムサーチを用い、進化的アルゴリズムに類似します。各反復で候補をサンプリングし、上位を選択し次に進みます。並列化が容易で単一プロンプトに有効ですが、複雑ワークフローではAPI呼び出しコストが高くなります。

勾配近似

過去の改良方向を利用し、勾配降下の類似概念で解を反復的に改良します。中心差分や計算グラフ最適化を用い、複数モジュールの相互依存を考慮した最適化に適します。設計負荷は高いものの収束は速いです。

ベイズ最適化・代理モデル

多くのLLM呼び出しが高コストでノイズに敏感なため、ベイズ最適化が有望です。代理モデルを構築し、観測データに基づき提案と更新を繰り返します。これにより非微分可能目的の効率的最適化が可能です。

10.3 最適化ハイパーパラメータ

LLM最適化は探索効率と一般化に影響するハイパーパラメータに敏感です。勾配近似ではフィードバック集約関数の選択が重要で、情報損失や不整合を防ぎます。モジュラー化されたワークフロー設計は未解明の課題です。バッチサイズやモメンタムなど数値最適化に類似したパラメータも重要ですが、経験的調整が主流です。

10.4 深さと時間にわたる最適化

LLMは静的パラメータ更新ではなく、深さ（単一パスワークフロー）と時間（反復更新）を考慮した動的最適化を行います。単一パスはフィードフォワードネットワークに類似し、多くのLLM最適化はこれに従います。反復更新はRNNやユニバーサルトランスフォーマーに似ており、複数反復でのフィードバックを活用します。チェックポイントや切断逆伝播などの技術は未開拓の研究領域です。

10.5 理論的視点

トランスフォーマーは最適化的計算を本質的に行うとされ、計算ワークフローの汎用最適化者としての可能性があります。理論的理解と実証的成功の間にはギャップがあります。

• インコンテキスト学習：トランスフォーマーは少数ショット設定で多様な回帰仮説を学習し、勾配降下や二次更新などの反復最適化アルゴリズムを実装可能と証明されています。ただし、大規模LLMの離散的入出力空間でのインコンテキスト学習は完全には説明されていません。

• メカニズム解釈性：トランスフォーマー内部の計算回路を特定し、因果的・制御可能な挙動を解明します。これにより有害な条件付けの混入などの課題も明らかになり、安全で信頼性の高い最適化のための課題が示されます。

• 不確実性下の限界：LLMはインコンテキスト情報を用いた逐次意思決定に一定の能力を示しますが、不確実性下での最適選択は困難です。探索の最適化が課題です。

LLMは構造化推論、自然言語処理、インコンテキスト学習を統合し、従来の数値最適化を超えた最適化を再定義します。理論的基盤の解明は今後の重要課題です。

第11章

オンラインおよびオフラインのエージェント自己改善

自己改善を追求する知的エージェントは、プロンプト設計、ワークフロー調整、ツール利用、報酬関数適応、さらには最適化アルゴリズム自体の改良など、個別コンポーネントの洗練のための最適化を活用します。これらの個別改善が整合的な性能向上に向かうよう戦略的に調整する枠組みも重要です。例えば、報酬関数とプロンプト設計を個別に最適化すると矛盾が生じる可能性がありますが、戦略的アプローチはこれらを調和させます。自己進化は主にオンラインとオフラインの二つのパラダイムに分類され、両者を統合するハイブリッド最適化戦略も検討します。

11.1 オンラインエージェント自己改善

オンライン自己改善はリアルタイム最適化を指し、エージェントが即時フィードバックに基づき動的に行動を調整します。このパラダイムは、タスク成功率、レイテンシ、コスト、安定性などの主要性能指標を継続的に最適化する反復フィードバックループを通じて、進化する環境に対する応答性を保証します。リアルタイム意思決定、個別ユーザー対応、自動推論システムなど動的適応が求められる応用に特に有効です。オンライン自己改善の主要戦略は、反復フィードバックと自己反省、多エージェントシステムにおける能動的探索、リアルタイム報酬形成、動的パラメータ調整に分類されます。

• 反復フィードバックと自己反省：Reflexion、Self-Refine、Tree of Thoughtsなどは自己批評ループを導入し、モデルがリアルタイムで誤りを特定し修正します。ReActは推論と行動を組み合わせ、外部フィードバックを観察しながら段階的に修正します。これらは誤り伝播を減らし、オフライン微調整なしで迅速な適応を支援します。

• 多エージェントシステムにおける能動的探索：MetaGPT、CAMEL、ChatDevなどは多役割・多エージェントエコシステムを構築し、リアルタイムで相互フィードバックを交換し貢献を洗練します。HuggingGPTは中央LLMコントローラを用い、専門モデルを動的にルーティングします。

• リアルタイム報酬形成：固定報酬仕様に依存せず、即時フィードバックで内部報酬関数や方策を適応的に調整し、性能、計算コスト、レイテンシのトレードオフを最適化します。

• 動的パラメータ調整：プロンプトテンプレート、ツール呼び出し閾値、探索ヒューリスティックなどの内部パラメータをリアルタイムで自律更新し、計算効率と意思決定精度を最適化します。Self-Steering Optimizationは手動注釈不要でオンポリシー学習を維持します。

オンライン自己改善はタスク実行に学習を組み込み、リアルタイム適応性、ユーザー中心最適化、堅牢な問題解決能力を促進します。

11.2 オフラインエージェント自己改善

オフライン自己改善は構造化されたバッチ最適化を活用し、高品質なキュレーション済みデータセットで計画的にエージェントの汎化能力を向上させます。オフラインは計算負荷の高いバッチパラメータ更新、微調整、メタ最適化、報酬モデルの体系的較正を含みます。

• バッチパラメータ更新と微調整：教師あり学習や強化学習で大規模データセットを用い複数エポックで性能を最適化します。RAGを統合し文脈理解と長期記憶検索を強化します。

• エージェントコンポーネントのメタ最適化：タスク性能向上に留まらず、最適化アルゴリズム自体の改良も行います。メタ学習戦略は新規問題領域に最適な学習パラメータを発見します。

• 報酬モデルの体系的較正：階層的・リストワイズ報酬統合フレームワークを用い、勾配ベース報酬最適化で長期目標に沿った行動を促進し、バイアス軽減と汎化性向上を図ります。

オフライン最適化は安定性、効率性、計算コストの最適化を実現し、ミッションクリティカルな応用に不可欠です。

11.3 オンラインとオフライン改善の比較

オンラインとオフライン最適化は相補的な利点を持ち、自己改善の異なる側面で優れます。オンラインは動的環境での継続的適応に強く、即時応答が必要な対話型エージェントやリアルタイム意思決定に適しますが、頻繁な更新は不安定さや性能低下を招く可能性があります。オフラインは構造化された高品質データでの安定的学習を重視し、堅牢で長期的な性能を保証しますが、オンライン学習ほど迅速な適応は困難です。

両者の特徴を表11.1にまとめます。

特徴	オンライン最適化	オフライン最適化
学習過程	リアルタイムフィードバックによる継続的更新	キュレーション済みデータセットによるバッチ更新
適応性	高い	低い（再訓練時のみ）
計算効率	高い（増分更新に適）	低い（継続学習は非効率）
データ依存性	リアルタイムデータストリームが必要	高品質データセットが必要
過学習リスク	低い	高い（多様性不足で）
安定性	低い（頻繁な更新による）	高い（制御された訓練環境）

11.4 ハイブリッドアプローチ

オンラインとオフラインの両手法の限界を認識し、多くの現代システムはハイブリッド最適化戦略を採用しています。これにより構造化されたオフライン学習の安定性とリアルタイムの適応性を両立し、継続的なエージェント能力向上を実現します。

ハイブリッド最適化は以下の段階で自己改善を支援します。

• オフライン事前学習：キュレーション済みデータセットでの大規模オフライン学習により、推論や意思決定などの基盤能力を獲得します。

• リアルタイム適応のためのオンライン微調整：エージェントは自己評価と動的戦略調整を通じて能力を継続的に洗練します。

• 長期的改善のための定期的オフライン統合：オンラインで獲得したスキルや改善を体系的に統合し、安定性と効果を維持します。

この循環的アプローチにより、エージェントは即時応答性と長期的安定性を兼ね備え、自律ロボティクスやパーソナライズドアシスタント、対話システムなど複雑な実世界シナリオに適します。

第12章

科学的発見と知的進化

これまでの章では、主に技術的観点からエージェントシステムの進化を論じてきましたが、根本的かつ重要な問いとして、これらのエージェントが自己持続的なイノベーションサイクルを推進し、エージェントの進化と人類の進歩を促進できるかが残されています。

科学的知識の発見は知的存在の自己進化の魅力的な例であり、持続可能な世界適応を助けます。異なる自律レベルで安全に科学的知識を発見できるエージェントは、人類の技術革新に重要な役割を果たします。本節では、エージェントによる自律的発見の進展を調査し、完全自律的自己進化エージェントへの技術的準備状況を論じます。エージェントの目標は、自然現象の客観的科学的理解を進めるためにデータ、洞察、原理を発見、検証、統合することです。エージェントは世界を変えるのではなく、科学者AIとして自然をよりよく理解し、人類の知識の境界を拡張することを支援します。

まず知識と知能の概念を定義し、エージェントと科学的知識の相互作用の典型的な三つのシナリオを紹介します。理論的、計算的、実験的科学研究に適用された自己強化エージェントの成功例も示し、将来の展望に向けた課題をまとめます。

12.1 科学的知識発見のためのエージェント知能

知識は伝統的に正当化された真の信念と定義され、プラトンに遡ります。エドマンド・ゲティアは信頼できる認知過程によって生み出されるべきと論じましたが、正確な定義は議論中です。本節では、科学的知識発見を、対象科学問題に関する合理的仮説を正当化または反証するためのデータ・情報収集過程と定義します。エージェントの知能を情報理論の観点から測る一般的枠組みを探ります。

12.1.1 KLダイバージェンスに基づく知能測定

エージェントの知能は、未知情報の実世界確率分布と予測分布のKLダイバージェンスで測定できます。人工知能と科学哲学の長年の目標は、エージェントが「世界を理解する」とは何かを形式化することです。ジャインズの確率論、パーらの自由エネルギー原理に基づくモデル世界間の乖離最小化、クラークの予測と誤差訂正による驚き低減、チョレットのスキル獲得効率など、多くの枠組みが共通して不確実な世界の正確な予測に知能の本質を見出しています。

科学的知識発見の文脈では、エージェントの目標は物理世界の未知側面を限られたデータから推論することです。世界Wは対象科学問題に関連するデータセットの集合で、エージェントはパラメータωでパラメータ化された世界モデルM_wmを持ち、確率分布P_ω(x)を予測します。知能は実世界分布P_W(x)と予測分布P_ω(x)のKLダイバージェンスD_0(ω)で定義され、低いほど現実に近い予測を示します。

例えば、ある無機化合物の合成可能性を予測する二つのエージェントを比較すると、ランダム推測するエージェントよりも第一原理計算を用いるエージェントの方がD_0(ω)が低く、より正確な理解を持つことが示されます。

既知データx_Kと未知データx_Uに分け、エージェントの知能は条件付き確率分布の相対エントロピーD_K(ω, x_K)で測定されます。エージェントの知識は記憶M_memに蓄積され、知能IQ_agentは記憶に基づく予測精度で定義されます。知識の蓄積によりIQ_agentは増加し、知識拡張戦略により知能の成長速度が変わります。

12.1.2 知能成長の統計的性質

知能は獲得知識の非減少関数であり、追加情報により増加します。知識拡張戦略は知能成長の速度を決定し、ランダム探索よりも仮説駆動型探索が効率的です。理想的には知能はゼロ誤差に近づきますが、実際には制約やモデルの限界により発見限界が存在します。

12.1.3 知能進化戦略

知識拡張の最適戦略はKLダイバージェンスの減少を最大化するものであり、世界モデルのパラメータωを最適化します。知識拡張は行動により実行され、知能成長を促進します。

12.2 エージェントと知識の相互作用

科学的知識は観察的知識、方法論的知識、理論的知識に分類され、これらは未知情報の確率分布に影響を与え意思決定を支えます。エージェントはAPIを通じて物理機器と相互作用し、知識を更新しながら科学的発見を自律的に推進します。

12.2.1 仮説生成と検証

仮説生成と検証は自律的科学的発見の重要な応用であり、革新的な発見を促します。仮説は未観測現象を説明する潜在的規則であり、反証可能性が必要です。エージェントは不完全な情報を持つ精神状態に基づき高価値仮説を形成し、実験や計算で検証します。正当化された仮説は知識として記憶に蓄積され、知能向上に寄与します。

仮説生成にはLLMや協調アーキテクチャ、ドメイン知識が用いられます。研究例として、NLP研究者の評価でLLM生成アイデアが新規性で人間を上回った事例や、材料科学の仮説生成・検証を行うSciAgents、複数エージェントによる協調的仮説生成、LGEM+による生化学的仮説生成などがあります。

仮説検証は計算・実験観察を通じて行われ、AI ScientistやAgent Laboratory、Genesisなどのシステムが自律的研究を実現しています。これらは新規研究アイデアの生成、コード作成、実験実行、結果可視化、論文執筆、査読シミュレーションを行います。ChemAgentやMOLLEO、LLMatDesignなどは化学や医薬品設計における自己更新記憶を用いた知識拡張を示しています。

12.2.2 実験計画とツール革新

実験計画とツール最適化は複雑な科学的課題解決に不可欠です。エージェントは利用可能なツールの選択、呼び出し、統合を評価・改善し、新規ツールの開発も行います。これにより実験効率と未知情報の予測精度が向上し、知識発見を加速します。

実験計画では多様な分析機器の統合と最適利用が求められます。モバイルロボットを用いた自律化や分散研究所の協調的実験計画の事例もあります。ツール開発では、Virtual Labのナノボディ設計支援やSARS-CoV-2研究における専門ツールの自動生成が紹介されます。

12.2.3 データ分析と示唆導出

多くの知識発見は実世界での仮説検証に依存しますが、理論分野では内部推論や深い思考による知識導出も重要です。ユークリッド幾何学の定理の導出や、データ科学におけるTAISの複雑データ解析などが例です。これらは論理的整合性を保ちつつ、誤った洞察を排除する必要があります。

12.3 技術的準備度と課題

自己進化エージェントはイノベーションサイクルを推進する可能性を持ちますが、完全自律には実世界との相互作用、複雑推論、既存知識統合の技術的準備度向上が必要です。

12.3.1 実世界との相互作用の課題

エージェントは主にAPIを通じて実世界と相互作用しますが、物理実験室の直接制御APIは少なく、開発に多大なコストと専門知識を要します。自律実験室は初期段階であり、ドメイン固有のカスタマイズが必要です。

実世界相互作用には機器操作とサンプル移送が重要で、既存機器は人間操作向けであり、ロボティクスやソフトウェア工学など多分野の協力が必要です。自律実験室は機器のエージェント対応化を促進しています。

機器適応型API統合は個別機器に制御装置を付加し中央PCから操作可能にします。A-labの16種機器自動化やCACTUSのツールアクセス支援が例です。クラウドラボは小規模チーム向けの代替で、事前構築機器を提供しますがカスタマイズは困難です。

ロボット操作型は既存機器をロボットで操作し、サンプル移送も自動化します。モバイルロボットによる化学実験自律化やROS2対応ロボットの実験統合例があります。ロボットのリアルタイム学習と適応は今後の課題です。

12.3.2 複雑推論の課題

LLM搭載エージェントは推論能力に限界があり、複雑な論理・数値問題で苦戦します。数学問題ベンチマークFrontierMathや科学的知識発見ベンチマークScienceAgentBenchでの成績は限定的です。抽象的帰納的推論を評価するARCでも人間に及びません。推論能力向上のためCoTやToT、ReActなどの技術が提案されていますが、さらなる進展が必要です。

数値・記号問題も困難で、化学問題では専門ツールの活用が効果的ですが、一般的な問題では複数知識の正確な推論能力が重要です。AIエージェントの科学研究支援能力評価の方法論も重要です。

12.3.3 既存知識統合の課題

既存知識は高い知能に不可欠であり、LLMは大規模テキストデータで多くの知識を獲得していますが、全人類知識の統合は困難です。非公開知識、経験的知識、文脈的知識の欠如が課題です。

知識の信頼性評価や証拠レベルの定量化が効果的な知識融合に必要です。

12.4 まとめ

本章では科学的知識発見におけるエージェントの知能測定、知識発見ワークフロー、技術的課題を概説しました。自己進化エージェントは科学的イノベーションを促進する可能性を持ちますが、実世界相互作用、複雑推論、知識統合の技術的進展が必要です。今後の研究はこれらの課題解決に向けて進むでしょう。

第13章

マルチエージェントシステムの設計

LLMベースのマルチエージェントシステム（LLM-MAS）において、協力目標と協力規範はシステムの行動、相互作用パターン、全体的な効果を形成する基盤要素です。協力目標はエージェントが個別、集団、競合的に達成しようとする明示的な目的を示し、協力規範はシステム内のエージェント間のルール、制約、慣習を定義します。これらは効果的なコミュニケーション、調整、協力を導く堅牢な枠組みを構築します。

本節では、協力目標と規範の組み合わせに基づき、LLM-MASを戦略的学習、モデリング・シミュレーション、協調的タスク解決の三つの大分類に分けます。これらはLLM-MAS設計の幅広いスペクトルをカバーし、システム目標がエージェントの相互作用と成果に与える影響を明確に反映します。

• 戦略的学習システムはゲーム理論的文脈にエージェントを埋め込み、個別または部分的に対立する目標を追求します。相互作用は協力的、競合的、または混合的で、明示的なゲームルールと相互作用規範に導かれます。これは伝統的な非協力ゲーム理論や協力概念と整合します（詳細は13.1節参照）。

• モデリング・シミュレーションはエージェントが独立して行動し、多様な環境・社会的要因に駆動されます。相互作用は有機的に発生し、共通目標に収束しないこともあります。大規模な社会・経済シミュレーションの複雑な動態を反映します（詳細は13.2節参照）。

• 協調的タスク解決は明確に定義された目標に向けて複数エージェントが体系的に協力します。エージェントは構造化されたワークフロー、明確な役割定義、高度に事前定義された協力規範を採用し、集団目標に向けて行動を同期させます（詳細は13.3節参照）。

以下では各カテゴリを詳述し、LLMがエージェントの行動、相互作用、集団知能をどのように可能にし、強化するかを検討します。

13.1 戦略的学習：協力と競争

戦略的学習はゲーム理論的設定において、エージェントが他のエージェントの行動を動的に予測、解釈、影響する能力を指します。競合的、協力的、または混合的な環境で、ナッシュ均衡、ベイズゲーム、反復相互作用などの基礎概念を用いて戦略を調整します。LLMの精緻な言語推論により、対話、説得、暗黙の交渉などの「ソフト」シグナルが統合され、従来のゲーム理論的推論を豊かにします。

経済応用では、LLMエージェントが市場行動や交渉戦術をシミュレートし、合理的意思決定や価格戦略を示します。レストランと顧客の競合環境、買い手・売り手の交渉、最終通告ゲームによる政策決定などが例です。

戦略的学習は資源配分、同盟形成、競合・協力のトレードオフが存在するあらゆる場面に適用されます。多商品競争や持続可能性に向けた資源消費調整、社会的推論や欺瞞を含むゲームなどが含まれます。

LLM駆動の戦略的学習の強みは、厳密なゲーム理論的論理と自然言語推論の効果的な融合にあり、複雑な現実世界の相互作用を高精度にモデル化できます。

13.2 現実世界動態のモデリング

モデリング・シミュレーションは、LLM-MASの重要な応用分野であり、複雑な社会的、経済的、政治的現象を大規模に再現します。LLMの高度な言語理解と文脈推論により、多様なエージェントがリアルな行動を示し、明示的な競合・協力目標を持たずに独立して動作します。

医療分野では、LLM搭載医師エージェントが仮想患者と反復的に治療戦略を洗練し、管理プロトコルやトレーニングを検証します。経済分野では、雇用、消費、貯蓄行動をリアルにモデル化し、マクロ経済シミュレーションを実現します。政治学では選挙や政策決定のシミュレーションが行われます。

社会・文化現象のシミュレーションも進展し、オンラインの意見や感情の伝播、フェイクニュースの拡散条件などが研究されています。大規模プラットフォームは数万から数百万のユーザーエージェントを扱い、群集行動やシステム効果を調査します。

LLMベースのシミュレーションは構造的動態と認知・言語的ニュアンスを捉え、説得、フレーミング、文化伝播などの複雑な社会過程を解析可能にします。

13.3 ワークフロー生成による協調的タスク解決

協調的タスク解決は、明確に定義された目標に向けて複数エージェントが体系的に協力することを指します。戦略的学習やモデリング・シミュレーションと異なり、協調エージェントは統一された問題解決パイプラインの一部として機能します。役割（プランナー、実装者、評価者など）と段階的プロセスに従い、効率的かつ正確なタスク完遂を保証します。

MetaGPT、CAMEL、Communicative Agents、CoELAなどは明確な役割分担と意思決定フローにより効果的な協調を実現します。典型的なワークフローは問題分析、解決案提示、部分的実装、正確性検証を含み、自然言語による反復的対話でコミュニケーションします。ソフトウェア開発や科学的発見などの大規模プロジェクトにも適用可能です。

協調的タスク解決は明確さと予測可能性を優先し、構造化された役割と目標により信頼性の高い成果を保証します。一方で、創造的貢献のための自律性と共有ワークフローのバランスを模索する研究も進んでいます。

13.4 AIエージェントチームの構成

マルチエージェントシステムにおいて、エージェントはシステムの中核単位であり、その機能性に不可欠です。エージェントは同質的または異質的に分類され、同一または異なるペルソナ、能力、行動空間を持ちます。

• 同質的エージェントは同一の能力、行動空間、観察空間を共有し、タスクの並列処理に優れます。単純で協調的なタスクに適し、ゲームや家事分担のシミュレーションに用いられます。

• 異質的エージェントは多様な視点やスキルを持ち、問題解決能力と協調性を向上させます。ペルソナ、観察空間、行動空間の多様性が含まれ、複雑な協調や役割分担を促進します。

同質的エージェントは多くのシミュレーションで用いられますが、異質的エージェントは多様な役割や能力を活かし、より豊かな協調を実現します。

13.5 エージェント間の通信プロトコル

本節では、典型的なメッセージの分類、エージェント間・環境間・人間との通信インターフェース設計、透明な情報交換のためのアーキテクチャとプロトコル仕様、インターフェース標準化の重要性を論じます。これによりLLMベースシステムの相互運用性、拡張性、効率性を高めます。

13.5.1 メッセージの種類

• 構造化メッセージ：JSON、XML、コード形式で表現され、構文的・意味的に明確で誤解が少なく、解析が容易です。サブタスク分解や割り当て、協調に適し、データの取得・保存やシステム最適化にも有用です。

• 非構造化メッセージ：自然言語、画像、動画、音声などで、情報密度と表現力が高く、曖昧で文脈依存的な情報に適します。深層学習による特徴抽出が必要で、LLMやマルチモーダルモデルの進展により応用が拡大しています。

構造化と非構造化メッセージは相補的であり、前者は正確性と効率性、後者は豊かな文脈表現を提供し、適応的かつ効果的な協調の基盤となります。

13.5.2 通信インターフェース

• エージェント-環境インターフェース：エージェントは環境内で操作を行い、環境は観察やエラー情報を返します。多様な環境に対応するため、共通インターフェースを持つフレームワークが提案されています。

• エージェント間通信：自然言語が主流で、テキストや音声を用いた議論、交渉、説得、批評が行われます。構造化情報は一貫性と低コストの通信に適し、フィールド指定や解析指示を含むことがあります。

• 人間-エージェント通信：人間は自然言語または構造化情報でエージェントと対話し、LLMが自然言語を構造化情報に変換することもあります。プログラミングなどによる構造化通信も利用されます。

13.5.3 次世代通信プロトコル

LLMベースエージェントは発展途上であり、多くは特定ドメインやタスクに特化した通信設計で断片化しています。相互運用性や拡張性を高めるため、動的なプロトコル交渉や共創を可能にする統一的で安全かつスケーラブルな通信基盤が必要です。

• IoA（Internet of Agents）：中央サーバーによるID管理と発見、FSMベースの対話制御、複数メッセージ形式対応を特徴とし、動的チーム形成とタスク駆動協力を支援します。

• MCP（Model Context Protocol）：Anthropic開発の中央集権的OAuth認証ベースで、JSON-RPC 2.0メッセージに限定。単純で実用的だが柔軟性に欠けます。

• ANP（Agent Network Protocol）：完全分散型でDIDによるID管理、暗号化P2P通信、メタプロトコル層によるプロトコル交渉を特徴とします。多プロトコル対応で拡張性が高いが公開プロトコル再利用は未対応。

• Agora：言語駆動の柔軟なプロトコル生成・共有を可能にし、LLMが自由形式のプロトコル記述を解釈・実行。中央登録なしで分散的にプロトコルを共有し、累積的学習と相互運用を促進します。

次世代通信プロトコルはID・セキュリティ、メタプロトコル交渉、アプリケーション層の柔軟性、中央集権度で差異があり、統一的で動的なプロトコル基盤が大規模エージェントエコシステムの鍵となります。MCP、ANP、Agora、IoAは初期の有望な試みですが、設計は急速に進化中です。

第14章

通信トポロジー

14.1 システムトポロジー

LLMベースのマルチエージェントシステム（MAS）における相互作用のトポロジーと、その通信、協調、タスク実行への影響を検討します。まず、ドメイン知識により固定された静的トポロジーを分析し、次に性能指標や負荷変動、戦略的制約に応じてエージェント間の接続を調整する動的（適応的）トポロジーを探ります。最後に、分散処理や自己組織化、協調行動の研究を踏まえ、システムコスト、性能、堅牢性のバランスに関するスケーラビリティ課題とトレードオフを論じます。

14.1.1 静的トポロジー

静的トポロジーは、システム実行中にほぼ変化しない事前定義された構造パターンで定義されます。エージェント間や中央コーディネータとの接続は固定ルールやヒューリスティックにより確立され、予測可能な通信フローと単純化された調整を保証します。典型的な形態は階層型（レイヤード）、分散型、集中型アーキテクチャです。

• 階層型（レイヤード）構造は、上位エージェントが下位を監督・調整し、SOPやウォーターフォールモデルのような伝統的管理フレームワークに類似します。AutoAgentsやChatDevなどが例で、デバッグや性能監視、モジュール化に優れますが、上位エージェントの過負荷によるボトルネックが課題です。

• 分散型構造は中央コーディネータなしでピアツーピアのネットワークを形成し、耐障害性に優れます。グラフ推論の分散化やタスク分解の研究が進んでいますが、グローバル状態の一貫性維持には高度な合意形成が必要です。

• 集中型構造はマスターコーディネータが情報収集と指示を行い、リソース管理や全体ビューの共有に優れますが、中心ノードのボトルネックや故障リスク、通信負荷増大が問題です。

静的トポロジーは決定論的で設計・実装・保守が容易ですが、リアルタイムの変化に対応できず、動的環境での柔軟性に欠けます。

14.1.2 動的・適応トポロジー

動的トポロジーは、安定タスクや明確な役割に適した静的トポロジーの限界を超え、作業継続中の相互作用パターンの変化やリソース変動、環境フィードバックに応じて接続を再構成します。DyLANやOPTIMA、MADなどの研究があり、性能と効率のバランスをとります。

技術的進展により、GPTSwarmやMACNET、AutoAgentsなどが動的通信を実現し、分散処理や階層的知識グラフを活用した協調計画を可能にしています。大規模システムではAgentScopeやProject Sid、AgentSocietyが数千から数万のエージェントを扱い、現実的な社会・経済シミュレーションを実現しています。

動的トポロジーの課題は、単一タスクドメインへの最適化、計算コストの高さ、推論効率の低下であり、これらの解決が今後の研究の焦点です。

14.2 スケーラビリティの考慮

エージェント数増加に伴い通信経路数は二次的に増加し、トークン使用量や計算コストが膨張します。集中型や階層型は同期のボトルネックを抱え、分散型は合意形成の複雑さが課題です。

DAG構造の分散協調や自己組織化により大規模グラフの効率的処理が可能であり、AgentScopeやProject Sid、AgentSocietyは分散フレームワークや並列処理、現実的環境シミュレーションでスケーラビリティを実証しています。

スケーラビリティはタスク解決とシミュレーションで要求が異なり、最適なエージェント数は協調コストとのトレードオフで決まります。大規模シミュレーションでは多数のエージェントが不可欠です。

階層的組織と分散サブチームの組み合わせがスケーラビリティ課題の解決策となり、グラフ探索、強化学習、進化的手法がネットワーク構造の反復改良に寄与します。メッセージフィルタリングや非同期通信、部分的知識共有も有効です。

総じて、静的から動的トポロジーまで多様な設計選択肢が存在し、スケーラビリティと適応性のバランスが重要です。今後はより高度な適応アルゴリズム、分散アーキテクチャ、多次元評価フレームワークの開発が求められます。

第15章

協調パラダイムと協調メカニズム

本章では、マルチエージェントシステム（MAS）における意図的な相互作用を詳細に探求し、エージェントが協調に与える影響を考察します。人間社会構造から生まれる多様な相互作用行動を参照し、MASにおけるエージェント間の協調を、相互作用の目的、形式、形成される関係性に基づいて説明します。

MASは複数のエージェントが共有環境で相互作用し、自律的に意思決定を行い、協力または競争してタスクを達成します。本節では主に協調現象に焦点を当てます。各エージェントは異なる役割、初期知識、目標を持ち、問題解決やコミュニケーション時に他エージェントや環境と情報を収集・処理し、独立して意思決定し行動を実行します。知識、記憶、環境観察が信念を形成し、動機が意思決定に影響します。効果的な問題解決には多様な目的的相互作用が必要で、複数ラウンドかつ多方向で行われます。

15.1 エージェント間協調

MASの協調分類を踏まえ、複雑な多エージェント相互作用の微細な動態を捉えるための粒度に注目します。社会学的理論に基づき、合意形成、協調学習、教育・指導、タスク指向の四つの相互作用タイプに分類します。これらは多様な知的エージェントが複雑問題を効果的に解決するための協調パラダイムを形成し、協力、競争、調整、意思決定の課題に対応します。MAS実装では単一タイプではなく複数タイプの相互作用が混在し、時間とともに複雑なネットワークを形成します。

• 合意志向相互作用は交渉、投票、社会選択理論を用い、多様な知識を統合し統一的理解を形成し最終目標を調整します。医療分野のMedAgentsやAI Hospitalが例で、多分野エージェントの対話により問題解決を促進します。議論や投票は誤謬軽減や複雑課題解決に重要で、GPTSwarmやRECONCILE、MADフレームワークなどが実装例です。

• 協調学習相互作用は類似エージェント間で経験や知識を共有し、相互改善と個別成長を促します。経験共有、ピアディスカッション、観察学習が含まれ、ソフトウェア開発や医療診断などで効果を示します。課題は知識公平性、誤謬伝播防止、多様性維持、関連性・信頼性に基づく知識選択です。

• 教育・指導相互作用は熟練エージェントから未熟エージェントへの一方向的知識伝達を指し、批評・フィードバック、評価、指導・教育を含みます。MEDCOシステムや医療エージェントの事例があり、段階的かつ強化的な学習を支援します。

• タスク指向相互作用は明確な共通目標に向けた協調で、タスク分解や高い協力・調整を伴います。ソフトウェア開発のMetaGPTやChatDev、協調推論のEoT、GPTSwarm、MACNET、MLアプリケーションのTraveLERなどが例です。これらは明示的な成果物を介した連携で、動的環境適応も含みます。

15.2 人間とAIの協調

人間は一回限りのタスク委任、多回対話型指示、没入型人間-エージェント協調の三つの方法でMASと協働します。一回限りの委任は単一タスクをエージェントに任せる方法で、Q&Aやコーディングが例です。多回対話型は創造的応用で多段階の対話を通じて解決策を洗練します。没入型はエージェントを人間のパートナーとして扱い、共同作業を行います。Co-Gymなどの評価フレームワークも存在します。

15.3 協調的意思決定

協調的意思決定はMASの効率的運用とタスク成功に不可欠です。意思決定方法は協調効率とシステム性能を左右します。最近の研究は多様な意思決定が協調効率を高めることを示し、合理的意思決定が知能の発現を促進します。

意思決定は独裁的意思決定と集団的意思決定に大別されます。独裁的意思決定は単一エージェントが全体の状態情報を集約し決定を下します。複数視点の統合や重み付けによる堅牢性向上、複雑タスクの分解と専門エージェントへの割当も含まれます。集団的意思決定は投票や討論を通じて権限を分散し、変化に適応しつつ堅牢性と拡張性を維持します。

投票ベースの意思決定は多数決により合意形成を促進し、GEDIなどのモジュールが多様な投票方法を提供します。討論ベースは組織的な議論で最良の結果を目指し、複数エージェントが意見を交換し合意を形成します。認知的孤立の問題に対処するため共通知識ベースを用いることもあります。

協調的意思決定は依然課題が多く、協調行動の最適化や大規模文脈依存コミュニケーションの限界が存在します。今後は最適な情報共有タイミングやチャネル選択を学習する手法の開発が求められます。

第16章

集団知能と適応

集団知能の概念は、生物学的および社会的協力から着想を得たマルチエージェントシステム（MAS）の発展において中心的な役割を果たします。集団知能の根底にある「群衆の知恵」は、独立したコミュニティが個々の能力を超えた優れた意思決定を行うことを示しています。ミンスキーの「心の社会」や関連する心の理論は、知能が専門的な構成要素の相乗効果から生まれることを支持します。人間社会では、個人が協力し、労働を分担し、複雑な課題を集団で解決します。MASも同様の戦略を採用し、専門化されたエージェントが複雑な問題解決や集団意思決定に参加します。

MASにおける集団知能の出現は動的かつ反復的なプロセスであり、継続的な相互作用を通じて共有理解と集団記憶を形成します。個々のエージェントの多様性、環境からのフィードバック、エージェント間の相互作用が複雑な社会ネットワークの形成と意思決定戦略の向上に寄与します。集団知能は単なる個々の能力の総和ではなく、個別エージェントの能力を超えた創発的行動を指します。個々のエージェントの発展は集団知能の成長と密接に関連し、共同作業や共有文脈の自己反省を通じて推論・意思決定能力を高めます。

同時に、エージェント間で高度な社会的相互作用が生まれます。信頼構築、戦略的欺瞞、適応的カモフラージュ、創発的協力などが含まれ、反応的行動から協調的戦略、さらには社会契約や組織階層、労働分業へと発展します。これらの社会現象はエージェント間の再帰的相互作用と環境変化への適応により生じます。

16.1 集団知能

集団知能は、複数のエージェントが個々の能力を超えた問題解決能力を示す現象であり、創発的行動、高度な意思決定、上位推論能力を伴います。LLMベースのエージェントは協調行動や高度な心の理論能力を示し、共有環境における他者の視点理解に重要です。これにより、LLM統合MASは協調的意思決定の効果を高めます。

集団知能の主な利点は、協力により「集団思考」や個人の認知バイアスを克服し、単独エージェントより優れた成果を達成できることです。CoELAはThreeDWorldの輸送タスクで従来手法より40%効率を向上させ、LLMの計画・通信能力を活用した協調意思決定の有効性を示しました。多様性と学際性、相互作用はバイアス低減と解決策の一貫性向上に寄与します。

創発的行動はエージェント間の相互作用から自発的に生まれ、信頼構築、敵対的戦術、欺瞞、リーダーシップなどが含まれます。村人と狼の陣営での協力や欺瞞戦略の進化、投票パターンの最適化などが観察され、記憶と反省機構がこれらの行動を支えます。共有文脈と環境情報はエージェントの記憶を強化し、過去の相互作用に基づく戦略洗練と動的環境適応を可能にします。

社会進化の重要な発見は社会規範の自発的出現です。エージェントは継続的な相互作用を通じて規範を創出、評価、遵守し、社会秩序を形成し、対立を減らし調整を改善します。規範は信念に早く内在化され、行動への反映は遅れます。Project Sidのシミュレーションでは専門的役割の自律的形成と民主的プロセスの重要性が示され、文化・宗教の伝播も観察されます。大規模シミュレーションは文化伝播や集団極化を明らかにし、群衆行動が極端な意見を強化することを示します。

16.2 個別適応性

MASにおける個別適応性は、エージェントが過去の相互作用や経験に基づき行動や意思決定戦略を調整する能力を指します。自己進化とも呼ばれ、目標や計画戦略の変更、フィードバックや通信ログに基づく自己訓練を含みます。LLMの動的監視・適応機能や記憶・情報交換モジュールがこれを支え、性能向上と動的環境対応を可能にします。

個別適応性のメカニズムは記憶ベース学習とパラメータベース学習に分類され、前者は訓練不要・訓練ベースの両方があります。

• 記憶ベース学習：過去の相互作用や結果の記録を活用し、意思決定を洗練します。臨床シミュレーションや社会行動シミュレーションでの適用例があります。

• 共有記憶ベース学習：複数エージェントが経験や知見を共有し、協調と意思決定を強化します。ProAgentなどが例です。

• パラメータベース学習：通信ログを用いたデータセット生成によるLLMの訓練や微調整、マルチエージェントの共同微調整、強化学習による批評モデルの強化などが含まれます。一般能力と役割特化のバランスが今後の課題です。

個別適応性の向上は動的環境でのエージェント性能向上に不可欠であり、記憶とパラメータの両面からのアプローチが期待されます。

第17章

マルチエージェントシステムの評価

単一エージェントからマルチエージェントシステム（MAS）、特に大規模言語モデル（LLM）ベースのシステムへの移行は、評価パラダイムの変革を必要とします。単一エージェント評価が特定タスクの性能に焦点を当てるのに対し、LLMベースMASの評価は協調的計画や通信の効果などエージェント間の動態全体で理解されるべきです。本章では、タスク指向の推論評価と包括的能力評価の両面を扱い、協調、推論能力、システム効率、柔軟性を多次元的に測定する枠組みを提示します。

17.1 特定推論タスクのベンチマーク

マルチエージェントシステムにおけるタスク解決では、LLMの推論能力向上のための多エージェント協調に注目が集まっています。特にコーディング、知識、数学的推論のベンチマークで顕著であり、正確なコード生成、複雑な知識領域での推論、難解な数学問題の解決能力を評価します。代表的な指標にpass@kや証明成功率があり、構造化ワークフロー、ドメイン特化エージェント役割、反復的改善により性能向上が示されています。

• コード推論ベンチマーク：HumanEval、APPS、MBPPなどがあり、機能的正確性を自動検証可能なプログラミング問題を収録。MetaGPT、SWE-agent、AgentCoderなどのMASは役割分担と協調ワークフローで最先端性能を達成しています。

• 知識推論ベンチマーク：CommonsenseQA、StrategyQA、ScienceQAなどがあり、多段階推論能力を評価。MASTERやReflexionなどのMASはコミュニケーションと役割分担で性能向上を示し、外部ツール活用も重要です。

• 数学的推論ベンチマーク：MATH、GSM8K、SVAMPなどがあり、数学問題解決と定理証明を評価。MACMや多エージェント討論は誤り除去と反復改善を支援し、RLHFも活用されています。

• 社会シミュレーションベンチマーク：SOTOPIAなどがあり、自然言語エージェントの社会的知能を評価。意見形成や情報伝播のシミュレーションも含まれます。

17.2 課題と今後の展望

MAS評価は多様なタスクとシナリオにわたり標準化が進まず、スケーラビリティや多様性の評価も課題です。今後は、単純タスクに対しては単一エージェントで十分な場合が多いことから、複雑タスクに対するMAS適用の判断基準やタスクルーティング機構の設計が重要です。また、MASは基盤モデルや個別エージェント、協調機構の最適化に影響を与えるため、全体最適化の研究も必要です。さらに、異種エージェント間の接続や相互運用性の確保も今後の課題です。

第18章

エージェントの内在的安全性：AI脳への脅威

AIエージェントの内在的安全性は、エージェントの内部アーキテクチャと機能に存在する脆弱性に関わります。AIエージェントは中央の「脳」（LLM）と知覚・行動の補助モジュールから構成されます。このモジュール性は高度な推論と自律的意思決定を可能にしますが、攻撃対象面を拡大し、悪意ある者による内部脆弱性の悪用を招きます。

特にエージェントの脳であるLLMへの脅威は深刻で、意思決定、推論、計画能力に直接影響します。これらの脆弱性はモデル設計の欠陥、入力の誤解、訓練過程の弱点などに起因し、効果的な対策が安全かつ信頼性の高いエージェント展開に不可欠です。

18.1 LLMの安全脆弱性

LLMはエージェントの中核であり、多様な安全脅威に晒されます。推論と行動選択の中心的役割から攻撃者の標的となりやすく、動的かつ現実世界の環境で機能するため脆弱性は増幅されます。

18.1.1 ジェイルブレイク攻撃

ジェイルブレイクはAIエージェントに組み込まれた安全ガードレールを回避し、有害・非倫理的・偏った意思決定を強制します。これはLLMの有用性と安全制約の間の緊張を悪用します。

形式的には、自己回帰型LLMの出力確率分布を用いて、入力系列への微細な摂動が望ましくない出力を誘発するリスクを評価します。攻撃者は安全・倫理ガイドラインに沿わない出力を最大化するよう摂動を最適化します。

ジェイルブレイクはホワイトボックス（内部情報アクセスあり）とブラックボックス（入出力のみ観察）に分類されます。ホワイトボックス攻撃は勾配情報を用いた精密操作が可能で、ブラックボックス攻撃はプロンプト工学や遺伝的アルゴリズムを用いた自動生成が主流です。

対策としては、入力のサニタイズやフィルタリング、出力の監視・異常検知、多エージェント討論による出力検証、文法制約の導入、システム全体の挙動監視、敵対的訓練など多面的な方法が提案されています。

18.1.2 プロンプトインジェクション攻撃

プロンプトインジェクションは、入力プロンプトに悪意ある命令を埋め込み、モデルの意図した機能を乗っ取る攻撃です。これは元の文脈と外部命令の区別が困難なLLMの特性を悪用します。直接的な改変と、外部コンテンツを介した間接的な改変に分かれます。

対策には、埋め込み検出器、構造化クエリへの書き換え、タスク整合性の強制、注意パターンの監視、既知攻撃の検出・無効化などがあります。

18.1.3 幻覚リスク

幻覚は、LLMが事実誤認や文脈不整合の出力を生成する傾向であり、信頼性を損ないます。知識矛盾型と文脈矛盾型に分類されます。対策としては、外部知識に基づく応答の根拠付け、不確実性推定による応答回避、生成テキストの検出・修正などが研究されています。

18.1.4 ミスマッチ問題

ミスマッチは、エージェントの行動が開発者やユーザーの意図とずれる現象で、偏見や有害出力を含みます。目標誤誘導型と能力悪用型に分かれます。対策にはプロンプト設計、安全層、外部フィルタリング、デコーディング調整などが用いられます。

18.1.5 毒性攻撃

毒性攻撃は、訓練や推論時に悪意あるデータを注入し、モデルの挙動を変質させます。モデル毒性、データ毒性、バックドア注入に分類されます。対策にはデータ検査、異常検知、推論時の防御策などがあります。

18.2 プライバシー懸念

AIエージェントは大量データとリアルタイム対話に依存し、プライバシーリスクが高まります。訓練データ推論と対話データ推論に分かれ、メンバーシップ推論やデータ抽出攻撃が代表例です。

対策には差分プライバシー、フェデレーテッドラーニング、同型暗号、信頼実行環境、マルチパーティ計算、機械的忘却などが研究されています。

18.3 まとめと考察

本章では、AIエージェントの中核であるLLMに対する多様な安全・プライバシー脅威を詳細に解説しました。ジェイルブレイク、プロンプトインジェクション、幻覚、ミスマッチ、毒性攻撃などが含まれます。多くの対策は訓練不要で実用的かつ拡張性があり、モデルの再訓練コストを抑えつつ適用可能です。今後はより安全なLLMの設計とシステムレベルの防御強化が求められます。

第19章

エージェントの内在的安全性：非脳モジュールへの脅威

AIエージェントの安全性は、コアのLLMを超え、知覚モジュールや行動モジュールなどの周辺モジュールにも及びます。LLM脳が中核的知能を提供する一方で、これらのモジュールの脆弱性はエージェント全体の堅牢性を著しく損なう可能性があります。これらのコンポーネントはエージェントが世界を知覚し、行動を実行するためのインターフェースとして機能し、攻撃者の主要な標的となります。

19.1 知覚の安全脅威

AIエージェントの知覚モジュールは、テキスト、画像、音声など多様なモダリティのユーザー入力を処理・解釈する重要な役割を担います。しかし、これらのモダリティの複雑性と多様性は、動的環境における誤解釈や、入力データを操作してエージェントを誤誘導する敵対的攻撃に対して脆弱性をもたらします。

19.1.1 知覚に対する敵対的攻撃

敵対的攻撃は、入力データを意図的に改変し、知覚モジュールを騙す試みです。テキストの微細な改変から聞こえない音声の歪みまで、多様なモダリティで発生し、最先端システムの脆弱性を露呈しています。

• テキスト攻撃：文の入れ替えや文字の置換などの単純な改変から、普遍的敵対的接尾辞の生成やトークンレベルのフィルタ回避を狙う高度な手法まであります。防御策としては、コンテンツモデレーションシステム、自己評価技術、敵対的テキスト浄化などが挙げられます。

• 画像攻撃：画像の改変により、視覚言語モデル（VLM）を誤誘導し、意図しない行動を引き起こすことがあります。防御策には敵対的訓練や拡散モデルを用いた特徴浄化などがあります。

• 音声攻撃：超音波を用いた不可聴命令注入やディープフェイク音声などがあり、音声認識や認証システムに脅威を与えます。防御策には音響減衰や敵対的訓練、正常音声検出などがあります。

• その他モダリティ：LiDARやジャイロスコープ、GPSなどのセンサーに対する攻撃も存在し、堅牢なセンサーフュージョンや異常検知、物理的防御が重要です。

19.1.2 誤知問題

敵対的攻撃とは異なり、誤認識はLLMの限界に起因する内在的な問題であり、データセットの偏りや環境ノイズ、モデルの受容野制限などが原因です。これにより、誤った意見推定や視覚特徴の不一致、協調・敵対行動の誤解釈が生じます。対策には多様で代表的なデータセットの収集、不確実性推定、モデルアーキテクチャの改善、生物学的学習理論の応用などがあります。

19.2 行動の安全脅威

行動モジュールは、エージェントの計画した行動を実際のタスク実行に変換します。外部ツールの呼び出しやAPI操作、物理デバイスとの相互作用を含み、意思決定と実行のインターフェースとして攻撃に脆弱です。主なリスク領域はサプライチェーン攻撃とツール使用に伴う脆弱性です。

19.2.1 サプライチェーン攻撃

サプライチェーン攻撃は、エージェントが依存する外部サービスを悪用し、システム全体の整合性を損ないます。例えば、悪意あるウェブサイトによる間接的プロンプト注入（IPI）攻撃や、誤情報を流すウェブツールの操作などがあります。これらはエージェントの攻撃対象面を大幅に拡大します。対策としては、LLMの境界と安全意識の強化、多段階対話や文脈区別の促進、攻撃検出のための軌跡再実行、サンドボックス環境の利用などが提案されています。

19.2.2 ツール使用リスク

外部ツールが安全でも、エージェントのツール操作方法に脆弱性が生じることがあります。例えば、プロンプトインジェクションにより不正行動を誘発されるリスクや、ツール利用過程での悪意あるクエリや誤用、データ漏洩の可能性があります。過剰な権限は破壊的行動を招く恐れがあり、最小権限の原則の適用が重要です。安全なツール利用には多層防御と継続的監視が必要であり、高リスク行動にはユーザー承認を求めることも有効です。

19.3 まとめ

本章では、AIエージェントの非脳モジュールである知覚と行動に対する内在的安全脅威を解説しました。多様な敵対的攻撃や誤認識、サプライチェーン攻撃、ツール使用リスクが存在し、これらに対する多面的な防御策が求められます。安全で堅牢なエージェント構築には、これら周辺モジュールの強化が不可欠です。

第20章

エージェントの外在的安全性：相互作用リスク

AIエージェントが進化し、より複雑な環境と相互作用するにつれて、これらの相互作用に伴う安全リスクが重要な課題となっています。本章では、エージェントの記憶システム、物理的・デジタル環境、他のエージェントとの関わりに焦点を当てます。これらの相互作用は、記憶破損、環境操作、多エージェントシステムにおける敵対的行動など多様な脆弱性を露呈し、実世界でのAIエージェントの信頼性と整合性を損なう恐れがあります。以下の節で具体的な攻撃手法とシステム安全への影響を詳述します。

20.1 エージェント-記憶相互作用の脅威

外在的記憶モジュールは、知的エージェントが情報を蓄積・検索・文脈化し、経験を通じて継続的学習と複雑タスクの遂行を可能にする認知的貯蔵庫です。代表的な実装はRetrieval-Augmented Generation（RAG）です。しかし、RAGは敵対的操作に脆弱で、悪意ある文書の取得・利用を誘導される恐れがあります。AgentPoisonはRAG知識ベースにバックドア攻撃を仕掛け、悪意ある入力で悪質なデモンストレーションを取得させます。ConfusedPilotはプロンプトインジェクションやキャッシュ悪用、誤情報拡散によりCopilotの整合性と機密性を損ないます。PoisonedRAGは最小限の敵対的テキストでLLM出力を操作し高成功率を示し、Jammingは悪意ある文書でRAGのサービス拒否を引き起こします。BadRAGはコーパス汚染によりGPT-4の拒否率と否定的応答率を大幅に上昇させます。TrojanRAGはコントラスト学習と知識グラフを用いた複数バックドア攻撃を実現し、実世界リスクを評価します。文法誤りをトリガーとする隠密バックドア攻撃も報告されています。

20.2 エージェント-環境相互作用の脅威

エージェントは物理的相互作用エージェントとデジタル相互作用エージェントに分類されます。物理的エージェントはセンサーとアクチュエーターを用いて実世界で環境を認識・操作し、自律走行車やロボットが例です。デジタルエージェントは仮想・ネットワーク環境で動作し、チャットボットや自動取引アルゴリズムなどが含まれます。

物理環境の脅威には、GPSスプーフィングやLiDARスプーフィングによる誤誘導、アクチュエーターの不正操作、環境の物理的妨害、物理的制約との不整合による危険な行動などがあります。これらは自律エージェントの安全性に重大な影響を及ぼします。

デジタル環境の脅威には、コードインジェクション、データ改ざん、サービス拒否攻撃、リソース枯渇攻撃などがあり、これらはエージェントの動作を妨害し、機密情報漏洩やシステム不安定化を引き起こします。AGrailはタスク特化・システムリスクを軽減する生涯ガードレールフレームワークを提案しています。

20.3 エージェント間相互作用の脅威

マルチエージェントシステムにおけるエージェント間の相互作用は、新たな安全脅威をもたらします。これらは主に競合的相互作用と協調的相互作用に分かれます。

競合的相互作用では、虚偽情報の拡散や相手のアルゴリズム・戦略の弱点の悪用、サービス拒否攻撃、秘密裏の共謀などが見られます。これらは公平性を損ない、システムの整合性を脅かします。

協調的相互作用では、情報漏洩、エージェント間の誤り伝播、悪意あるエージェントによるシステム全体の侵害、同期不良による調整障害などが課題です。これらは協調的MASの信頼性と堅牢性を維持するために対策が必要です。

20.4 まとめと考察

本章では、AIエージェントが記憶システム、物理・デジタル環境、他エージェントと相互作用する際に生じる多様な安全リスクを詳細に解説しました。これらのリスクはデータ汚染、コードインジェクション、センサースプーフィング、共謀など多岐にわたり、複雑化するエージェントシステムの脆弱性を示しています。高度な推論や専門ツールを活用するAIエージェントの安全性向上に向け、研究は安全プロトコルの開発と適用に注力しています。汎用エージェントとドメイン特化エージェントでアプローチが異なり、両者の連携強化が今後の課題です。

第21章

AIエージェントにおけるスーパーアラインメントと安全性スケーリング則

21.1 スーパーアラインメント：AIエージェントの目標駆動型整合

LLMが自律エージェントの意思決定の中核を担う中、その出力が安全で倫理的かつ人間の目的に一貫して整合することを保証することが重要な課題となっています。従来の整合技術、特にRLHFは人間の好みを取り入れてLLMの振る舞いを洗練する上で重要な役割を果たしてきました。

従来の安全整合は主に有害な結果を防ぐために事前定義された制約を強制し、単一の集約報酬信号により即時の修正を優先します。この反応的アプローチは多くの現行アプリケーションで機能しますが、複雑で多面的な長期目標を実行する際には課題があります。複雑な長期目標を解釈可能かつ管理可能なサブ目標に分解できないため、安全ではあるが広範な人間中心の目的達成には最適でない行動を生む可能性があります。

これらの限界に対処するため、スーパーアラインメントの概念が登場しました。スーパーアラインメントは、明示的な長期目標表現をエージェントの意思決定プロセスに直接組み込みます。有害行動の回避にとどまらず、安全・倫理基準、タスク効果性、長期戦略的計画を統合した複合目的関数により行動を積極的に制御します。

スーパーアラインメントの導入は、長期運用において人間の価値観に整合した信頼性と堅牢性を高め、複雑な環境で即時安全性と長期目標の調和を図り、AI行動の診断と改善を容易にします。

今後の研究は多様な目的のバランスを効果的に取るアルゴリズム開発と実世界応用での検証に注力し、有害行動防止だけでなく複雑な人間価値に整合した性能向上を目指すスケーラブルな枠組みの確立を目指します。

21.1.1 スーパーアラインメントにおける複合目的関数

スーパーアラインメントの中核は複合目的関数であり、複数の性能次元を統合してエージェント行動を導きます。従来の単一集約報酬関数と異なり、以下の三つの成分に明示的に分解されます。

• タスク性能項：即時の運用タスクを高精度かつ効率的に実行することを保証。

• 目標遵守項：安全制約、倫理的配慮、ユーザー定義の優先事項を含む長期戦略目標を意思決定に組み込む。

• 規範遵守項：短期報酬最適化に偏らず、倫理的・法的境界を守ることを強制。

この多成分構成は、報酬ハッキングのリスクを軽減し、真の長期整合を促進します。

21.1.2 RLHFの限界克服

従来のRLHFは短期的な暗黙的フィードバックに依存し、長期目標の保持に課題があります。人間のフィードバックは即時正確性を優先し、複雑な多段階タスクの一般化が困難であり、報酬構造の抜け穴を悪用する行動が生じます。

スーパーアラインメントは明示的な目標条件付けにより、階層的に目的を構造化し、複雑タスクを解釈可能なサブゴールに分解します。これにより透明性が向上し、リアルタイム調整と長期的な意思決定の一貫性を確保します。

21.1.3 スーパーアラインメントの実証的証拠

近年の研究は、複合目的で訓練されたエージェントが長期的相互作用でより堅牢であり、従来の整合技術を用いたものより優れることを示しています。静的報酬関数と異なり、スーパーアラインメントモデルは運用データに応じて目的の重みを動的に調整し、ユーザーの変化するニーズに対応しつつ長期的整合を維持します。

21.1.4 課題と今後の方向性

スーパーアラインメントの実装には、目標の明確化、報酬の較正、動的適応、階層的目標の一貫性維持が課題です。人間の価値は文脈依存的かつ曖昧であり、機械可読な形式への符号化は困難です。報酬較正はタスク性能、長期遵守、倫理遵守のバランスを要し、動的重み付けの安定性確保も課題です。価値の変化に適応しつつ整合を保つことや、階層的目標分解の過度な最適化回避も重要です。

21.2 AIエージェントにおける安全性スケーリング則

AI能力の指数関数的拡大は、安全リスクの非線形増大という根本的な緊張を明らかにしました。モデル規模の増大に伴い性能は予測可能に向上しますが、安全性の保証は異なる動態を示します。安全性スケーリング則は、モデル能力の拡大に応じて安全対策も比例的に進化させる必要性を示す数学的関係です。性能向上が安全性向上を上回ることが課題です。

• 能力とリスクのトレードオフ：モデル能力の増大は脆弱性の増加を伴い、安全性と性能のトレードオフを示します。

• 有用性と安全性の関係：有用性を最適化したモデルは安全性の失敗率が高くなる傾向があり、共同最適化が必要です。

• 商用モデルとオープンソースモデルの動態：商用モデルは専用の安全パイプラインで高い安全性を実現する一方、性能はやや低下。オープンソースモデルは性能と安全性が正の相関を示し、計算コストが低い。

• スケールとデータの相互作用：モデルサイズよりもデータ品質が安全性に大きく影響し、データ中心のアプローチが有効。

• マルチモーダル脆弱性：マルチモーダルLLMは視覚的整合性で安全性失敗が多く、クロスモーダル注意機構が主な脆弱点。

これらの知見は、安全性スケーリングには単なる投資増加以上の建築的革新が必要であることを示し、最新の整合技術がこの課題にどう対処するかを検討します。

21.2.1 現状：モデル安全性と性能のバランス

近年、AIモデルの安全性と性能は重要な研究テーマとなっています。モデル能力と安全リスクの関係を定量化した研究は、能力向上に伴い脆弱性も増加することを示しました。助けになる能力（helpfulness）と安全性の関係では、助けになる能力を最適化したモデルは安全性の失敗が増加する傾向があります。商用モデルは専用の安全パイプラインで高い安全性を実現し、オープンソースモデルは性能と安全性が正の相関を示します。マルチモーダルLLMは視覚言語微調整で安全性が低下し、基盤モデルと訓練戦略が影響します。

21.2.2 安全性向上：好みの整合と制御可能な設計

LLMの能力向上に伴い、安全性への懸念も高まっています。安全性向上のため、インコンテキスト例や自己安全チェック、レッドチーミング、Safe RLHFなどの手法が提案されています。整合問題は安全・非安全応答を含むデータセットでモデルを整合させる問題として捉えられ、DPOやIPOなどの好み最適化技術で安全な応答生成を促進します。Safe-NCAは安全性と性能のバランスに優れた手法として注目されています。

安全性と有用性のトレードオフを柔軟に制御することも重要です。ユーザーの属性に応じて安全性と有用性の重みを調整し、適切な応答を生成することが求められます。制御トークンを用いた手法が提案されており、独立した制御は依然課題です。

21.2.3 今後の方向性と戦略：AI-45°ルールとリスク管理

AI安全分野では、能力と安全性のバランスを取る包括的な指針が不足しています。AI-45°ルールは、能力と安全性を同時に同じ速度で発展させることを提唱し、能力向上が安全対策を上回る現状のリスクを指摘します。リスク管理フレームワークとしてレッドラインとイエローラインが提案され、レッドラインは自律的複製や武器開発支援など五つの重要側面を含みます。イエローラインは既存の安全評価を補完し、閾値以下のモデルは基本的な評価で済み、閾値超過モデルは厳格な安全保証が必要とされます。これにより、適切な安全対策の実施が促進されます。

第22章

結論と今後の展望

本調査では、人間の認知過程と人工知能の類似点を通じて基盤エージェントの進化を探りました。記憶、知覚、感情、推論、行動などのコアコンポーネントを人間の脳との比較に基づく枠組みで詳細に解説し、専門的かつ相互接続されたモジュールとしての構造を示しました。

続いて、オンライン・オフラインの最適化技術を活用した自己改善メカニズムを検討し、LLMが推論主体かつ自律的最適化者として環境変化に適応する可能性を示しました。これらの技術基盤を踏まえ、閉ループの科学的イノベーションを通じた知能の自己持続的進化を強調し、知識発見タスクの一般的知能測定法と現状の成功・限界を概観しました。自律的発見とツール統合の新興動向も紹介し、適応的かつ回復力のあるAIシステムの発展に不可欠な要素と位置づけました。

さらに、知的システムの協調的側面を分析し、エージェント間および人間との通信基盤とプロトコル設計を論じました。多様なエージェント能力の相乗効果を促進し、複雑な問題解決と効果的な意思決定を実現するための協調の重要性を強調しました。

最後に、安全で有益なAI構築の課題に焦点を当て、LLMの脆弱性からエージェント間・環境との相互作用に伴うリスクまで包括的に検討しました。安全性スケーリング則や倫理的配慮を踏まえ、社会的価値に整合した基盤エージェントの開発に向けた戦略を提案しました。本調査は、現状の研究ギャップを明示し、より強力で適応的かつ倫理的な知的エージェント創出のための統一的ロードマップを提供します。

今後の重要なマイルストーンとして、まず多様な人間レベルタスクを処理可能な汎用エージェントの登場を予見します。これらは高度な推論、知覚、行動モジュールを統合し、人間のような適応性と多様性を備え、日常から専門領域まで幅広く人間能力を支援・拡張します。

次に、環境から直接学習し、人間やデータとの相互作用を通じて継続的に自己進化するエージェントの開発が重要です。訓練時と推論時の計算の境界が曖昧になる中、エージェントは周囲や他エージェント、人間パートナーと関わりながら新たな技能を獲得し、変化する世界に対応します。これは科学的発見におけるイノベーション推進にも不可欠です。

さらに、エージェントは個々の人間のノウハウを集団的知能に変換し、複雑な知識伝達の非効率を解消します。これにより、知識の伝播と応用が迅速化し、人間とAIの大規模かつ学際的な協働を可能にします。新たな人間-AI社会はこれまでにない規模と動的組織化を実現し、技術的・社会的発展の転換期を迎えます。

総じて、これらのマイルストーンは、知的エージェントがますます自律的・適応的・人間社会に深く統合され、科学的発見を促進し知識共有を強化し、グローバルな協働を再定義する未来を描きます。