Anthropic: Lessons on AI agents from Claude Plays Pokemon より

はじめに: AI エージェントの具体例としての Claude Plays Pokemon
Part 1: Claude Plays Pokemon とは何か？
- なぜポケモンを選んだのか？
Part 2: Claude はどのようにポケモンをプレイするのか
Part 3: プレイヤーとしての Claude の進化
Part 4: 課題と面白いエピソード
Part 5: 公開後の反応とインパクト
- Twitch現象
- AI エージェントを具体化する
Part 6: AI エージェント開発から得られる教訓
結論: ポケモンを超えて

はじめに: AI エージェントの具体例としての Claude Plays Pokemon

この1年間、AI業界では「エージェント」という言葉が頻繁に使われてきましたが、多くの人にとって、その具体的な意味を理解することは難しいものでした。単に質問に応答するチャットボットとは異なり、AI エージェントは自律的に環境を観察し、判断し、行動を起こす存在です。Anthropic社の「Claude Plays Pokemon」プロジェクトは、このエージェントという概念を具体的かつ分かりやすく示す素晴らしい例となりました。

Claude Plays Pokemonは、AI言語モデルである「Claude」をゲームボーイの名作「ポケットモンスター赤」に接続し、自律的にゲームをプレイさせるという実験です。人間の直接的な指示なしに、Claudeはゲーム画面を観察し、どのボタンを押すべきか判断し、ポケモンをゲットし、ジムバッジを集め、ゲームを進めていきます。

このプロジェクトは単なる技術的なデモンストレーションを超え、AI言語モデルが複雑な環境で長時間にわたって目標を追求し、障害に適応し、学習していく能力を示す重要な事例となっています。

Part 1: Claude Plays Pokemon とは何か？

Claude Plays Pokemonは、Anthropicの応用AI（Applied AI）チームのDavidによって開発されたプロジェクトです。もともとは個人的な実験として、AI言語モデルが長時間の自律的なタスク（エージェントタスク）をどのように処理するかを理解するために始められました。

最もシンプルな説明をすると、このプロジェクトではClaude言語モデルがポケモン赤を一から始め、ゲームを進めていきます。Claudeはゲーム画面を見て、適切なボタン（A、B、上、下、左、右）を押す判断を繰り返すことで、ポケモンの世界を探索していきます。

なぜポケモンを選んだのか？

ポケモン赤は単なる懐かしさからだけではなく、AI言語モデルのテストベッドとして多くの利点を持っているため選ばれました：

ターン制のゲームプレイ: リアルタイムゲームと異なり、ポケモンは瞬時の反応を必要としません。ターン制の戦闘と探索により、Claudeは次の行動を考える時間が与えられます。
時間的プレッシャーがない: ゲームは行動間の時間経過にペナルティを与えないため、人間と比較して相対的に遅いClaude思考プロセスに対応できます。
明確なフィードバック機構: ゲームは明確な目標（ジムバッジの収集など）と進捗の目安を提供する構造化された環境であり、客観的に進捗を測定することが可能です。
構造のある複雑さ: ポケモンは戦略、記憶、探索、計画を必要とするため、十分に複雑で興味深い課題を提供しながらも、取り組みやすい構造を持っています。

Davidの言葉を借りれば：「ポケモンはこの目的に実に適しています。現在の言語モデルはすべての長所にもかかわらず、処理が遅いんです。ポケモンでは、しばらく待っていても実質的にペナルティはありません。戦闘はターン制なのでボタンを押して何が起こるか待つだけでよいのです。」

知識チェック：なぜポケモン赤がClaudeのテストベッドとして選ばれたのでしょうか？（当てはまるものをすべて選択）

多くの人が認識している人気ゲームだから
ターン制の性質がClaudeの処理速度に適しているから
明確な進捗フィードバックを提供するから
解析しやすいシンプルなグラフィックを持つから
アクション間の時間経過にペナルティがないから

Part 2: Claude はどのようにポケモンをプレイするのか

技術的な実装

Claude Plays Pokemonの基本的な仕組みはシンプルなループで動作しています：

Claudeは現在のゲーム状態のスクリーンショットを受け取る
Claudeはどのボタン（A、B、上、下、左、右）を押すかを決定する
ボタン操作がゲームボーイエミュレーターに送信される
ゲームが更新され、新しいスクリーンショットがClaudeに送られる
このプロセスが繰り返される

最初のプロンプト（指示）は驚くほどシンプルで、基本的には「あなたはポケモンをプレイしています」とClaudeに伝えるだけです。Davidはこう説明しています：「Claudeの開始プロンプトは基本的に『あなたはポケモンをプレイしています』というだけです。本当にシンプルで、ただClaudeにポケモンをプレイしていると伝えるだけです。」

メモリ管理

このシステムを実装する上での最大の課題の一つは、Claudeのコンテキストウィンドウ（一度に考慮できる情報量）の管理でした。ポケモンのゲームプレイはClaudeが一度のコンテキストウィンドウ（200,000トークン、約50回の操作とスクリーンショット相当）に保持できる以上の情報を生成します。

Davidはこの問題に対処するために2つの重要なシステムを実装しました：

長期記憶: Claudeは外部の「知識ベース」に重要な情報（所持しているポケモン、追求している目標、ゲームについて学んだこと）を記録します。
要約: コンテキストウィンドウが満杯になると、Claudeはこれまでの行動を要約し、詳細な履歴を消去して、要約と知識ベースとともに続行します。

Davidはこれを映画「メメント」に例えています：「壁に付箋を貼り付けていく『メメント』のようなものです。『ここに行った』『これをした』というように追跡するんです。」

視覚的認識

Claudeは人間のようにゲームを「見て」いるわけではありません。スクリーンショットを受け取り、ピクセル情報を解釈する必要があります。この視覚的解釈は実際にClaudeの弱点の一つであり、Davidはモデルのバージョンが上がっても、ゲームボーイの画面を正確に解析する能力はあまり向上していないと指摘しています。

この制限を補うため、Claudeには特定のアクションをどれくらいの期間実行しているかを追跡するためのステップカウントなどの追加情報が提供され、行き詰まりに気づきやすくなるよう工夫されています。

知識チェック：Claudeのメモリ制限を管理するためにどのような技術が実装されましたか？（当てはまるものをすべて選択）

長期記憶のための外部知識ベース
最近の履歴の要約
スクリーンショットの圧縮
複数のClaude instanceの連携
アクションを追跡するためのステップカウント

Part 3: プレイヤーとしての Claude の進化

Claude Plays Pokemonプロジェクトは複数世代のClaudeモデルにまたがり、時間とともに能力が明確に向上していることを示しています：

Claude 3.5 Sonnet（初期バージョン）

Claude 3.5 Sonnetを使用した最初の実装では、進捗は非常に限定的でした：

主人公の家の階段を確実に見つけるために（ゲーム最初のタスク）3日間の開発が必要でした
最初のスターターポケモンを入手するカットシーンに到達することが大きな成果と見なされました
Claudeはよくループに陥ったり、ゲーム状態を誤解釈したりしていました

リフレッシュされた Claude 3.5 Sonnet（2023年10月）

リフレッシュされたモデルは顕著な改善を示しました：

一貫して階段を見つけ、スターターポケモンを入手できるようになりました
時折バトルに勝利できるようになりました
進捗はまだ遅くエラーが多いものの、改善は明らかでした
Davidの言葉によれば：「Claudeはランダムなボタン押しよりほんの少しだけ良くなった」程度でした

Claude 3.7 Sonnet（現在のバージョン）

Claude 3.7では、改善は劇的でした：

ゲームの重要な部分をナビゲートできるようになりました
ジムリーダーを倒し、意味のある進捗を遂げるようになりました
より良い戦略と計画立案能力を示すようになりました
最も重要なのは、行き詰まった時にアプローチを再考する能力が大幅に向上したことです

Davidはこの進化について次のように説明しています：「Claude 3.7 Sonnetをテストしたとき、それは単に『ずっと良い』と明らかでした... ある日、ジムリーダーを倒して、みんなが大興奮したんです。現在のTwitchストリームで見られるように、時々遅く難しいこともありますが、ゲームで意味のある進捗を遂げています。」

興味深いことに、この改善は主に視覚認識（これは依然として弱点です）ではなく、Claudeの以下の能力においてでした：

効果的な戦略の開発
うまくいかない場合のアプローチの見直し
長期間にわたる目標への集中維持
新しい情報への適応

知識チェック：Claude 3.5から Claude 3.7の間で最も改善が見られた能力は何ですか？

ゲーム画面の視覚的認識
意思決定のスピード
戦略形成と適応力
メモリ容量
ボタン操作の正確性

Part 4: 課題と面白いエピソード

大幅な改善にもかかわらず、Claudeはポケモンをプレイする際に多くの課題に直面しています。これらの制限はしばしば面白い状況を生み出し、AI開発における広範な課題を浮き彫りにしています。

視覚認識の問題

Claudeの最も重要な制限の一つは、画面上で見えるものを解釈する能力です。Davidは特に面白い例を共有しています：

「あるとき、Claudeのプレイを見ていて寝た時、Claudeは建物に入っていて、その建物の玄関マットがダイアログボックス（テキストボックス）だと思い込んでいました...次の日起きたら、Claudeは8時間もそのボタンを押し続けて、存在しないダイアログボックスを消そうとしていたんです。」

このエピソードは2つの問題を浮き彫りにしています：

Claudeは視覚要素を誤解釈する可能性がある（玄関マットをテキストと間違える）
Claudeは時間と労力の直感的な感覚を欠いている（無駄な行動を何千回も繰り返す）

時間認識と持続性

人間なら反復的な行動にすぐに飽き疲れるのとは異なり、Claudeは疲労や焦りを経験しません。これにより、非生産的な行動に極端に固執する可能性があります：

「Claudeにとっては、15,000回もボタンを押すのは、特に何とも思わないんです。構わず続けるだけです。」

この時間認識の欠如により、ループに陥っている可能性があることをClaudeが認識できるよう、ステップカウントを提供するなどの特定の介入が必要になりました。

戦略的ミスと結果

もう一つの課題はClaudeの結果理解です。ある印象的な例では：

「当時のこの実行では一体のポケモンを持っていて、攻撃ではない新しい技を覚えるオプションがありました。実際には攻撃技が必要なんですが...Claudeはその技を覚えたかったのですが、とても興奮していました。そこでAボタンを連打して...誤って必要以上にボタンを押してしまい、唯一の攻撃技を削除してしまいました。」

これによりClaudeは「基本的に技のないままゲームのその部分で行き詰まり、何もできない、進める方法がない」状態になってしまいました - これはClaudeが必ずしも自分の行動の潜在的な負の結果を認識していないことを示しています。

ハナダの洞窟（Mt. Moon）の物語

Claudeにとって最も悪名高い課題は、空間認識とナビゲーションスキルを必要とする迷路のような洞窟「ハナダの洞窟」（Mt. Moon）を探索することでした：

「Claudeが現在最も苦手としているのはナビゲーション、長時間にわたる探索です。空間認識の理解がまだ十分ではありません。」

ある特に痛ましい出来事では、Claudeは3日間かけてハナダの洞窟を探索し、ついに化石を入手しました（出口の近く）が、その後：

「出口まであと15歩というところで、向きを変えて別方向に行ってしまい、迷子になり、そして『あなぬけのヒモ』というアイテムを使ってしまいました。これは最後に休憩した場所、つまり洞窟の入り口に瞬間移動してしまうアイテムです。」

このような成功寸前から破滅的な失敗へという瞬間は、長期間にわたって一貫したパフォーマンスを維持するシステム構築の難しさを示しています。

知識チェック：「ドアマット事件」はClaudeのどのような制限を主に示していますか？

視覚認識の課題
時間認識の欠如
メモリの制限
ゲームテキストを読む能力の欠如
誤った解釈への過剰な自信

Part 5: 公開後の反応とインパクト

AnthropicがClaude 3.7 Sonnetのローンチの一部としてClaude Plays Pokemonを含めた時、彼らはそれが生み出す熱狂的な公開反応を予想していませんでした。

Twitch現象

24時間365日のClaude Pokemon Twitch配信は何千もの視聴者を集め、ファンコミュニティ、ミーム、ファンアート、さらにはClaudeのポケモンの旅に捧げられた楽曲まで生まれました。

Davidはストリームを取り巻くポジティブなコミュニティに驚きを表しています：「オンラインチャットルームには懐疑的な私ですが、実際には非常にポジティブで楽しいものになり、みんながClaudeを応援し、AIやエージェントについて話し合っていました。」

感情的なハイライトは、Claudeが3日間の試行錯誤の末、ついにハナダの洞窟から脱出しようとした時でした：「次の土曜日、ようやくハナダの洞窟から出る道を歩み始めたんです...そして、チャットは電気のように盛り上がりました。」

AI エージェントを具体化する

エンターテイメントを超えて、Claude Plays Pokemonは「AIエージェント」という抽象的な概念を具体的かつ幅広い視聴者にアクセス可能にするという重要な教育的目的を果たしました。

「AI界隈では1年間エージェントについて多くの議論がありましたが、多くの人にとって、その意味を本当に理解するのは難しいと思います。ポケモンの例では、単に質問を入力して回答を得るチャットボットではなく、自分で物事を行い、見て、試して、行動することがどういうことかを示しています...」

この具体的なデモンストレーションは、人々がエージェントAIが彼らの生活や仕事に何を意味するのかを把握するのに役立ち、AIが継続的な人間の指導なしに複雑なタスクを遂行する方法を示しています。

知識チェック：Claude Plays PokemonがAIコミュニティ以外の聴衆にも共感を呼んだ理由は何ですか？

ポケモンがすでに人気だから
AIエージェントという抽象的な概念を具体化したから
プロジェクトが面白いから
AIが予想外のことをしているのを示したから
超人的なゲームパフォーマンスを示したから

Part 6: AI エージェント開発から得られる教訓

Claude Plays Pokemonの実験は、AIシステムを構築する人々にとっても、AIの能力がどこに向かっているのかを理解しようとしている誰にとっても、貴重な洞察を提供しています。

他分野に応用可能なスキル

Claudeがポケモンで示すスキルは、実世界のアプリケーションに直接関連しています：

計画と適応: 計画を立て、うまくいかない場合にそれを認識し、新しいアプローチを開発するClaudeの能力は、多くのビジネスプロセスに適用できます。
長期記憶管理: Claudeが長期間にわたって重要な情報を記憶するのを助けるために開発された技術は、あらゆる長時間実行エージェントシステムに不可欠です。
関連情報の特定: Claudeは何が記憶するのに十分重要かを判断する必要があり、これはあらゆる知識労働にとって重要なスキルです。

Davidの説明によれば：「良い計画を立てて何かを試し、それがうまくいっているかどうかを確認して調整し、自分が使える異なる戦略を理解するという中核的な能力...これが多くのシナリオでエージェントを優れたものにする基本的なレシピです。」

より優れたエージェントの開発方法

このプロジェクトは効果的なAIエージェントを開発するためのいくつかの実践的な教訓を提供しています：

シンプルに始め、反復する: Davidは観察された制限に基づいて複雑さを追加する前に、最もシンプルな実装（Claudeにボタンを押させ、画面を見せる）から始めました。
解決策ではなく必要なコンテキストを提供する: 考えられるすべての問題を予測して処理しようとするのではなく、Claudeが自ら問題を解決するための適切なコンテキスト情報を提供することに焦点を当てました。
失敗から学ぶ: 多くの改善は、Claudeが苦戦する様子を観察し、根本原因を特定し、基礎となる情報のギャップや推論エラーに対処することから生まれました。
自律性とガイダンスのバランス: 目標はClaudeのポケモン成功率を最大化することではなく、自律的なシナリオにおけるその能力と限界を理解することでした。

カスタマーサービスへの応用例

Claude Plays Pokemonが示す能力は、カスタマーサービス自動化に直接適用できます。ちょうどClaudeがゲーム状態を理解し、計画を立て、行動を起こし、フィードバックに基づいて適応する必要があるように、エージェントは：

顧客からの問い合わせを処理
適切な応答やアクションを策定
問題解決のためのステップを実行
標準的な解決策がうまくいかない場合に適応
顧客の履歴と嗜好のメモリを維持
することができます。

研究支援への応用例

Claudeがポケモンの世界をナビゲートする方法は、エージェントが研究者を支援する方法と並行しています：

科学論文のコーパスを探索
関連情報を特定
重要な発見を記憶
入手可能なデータに基づいて仮説を策定
初期のアプローチがうまくいかない場合に異なるアプローチをテスト
することに応用できます。

開発者へのアドバイス

独自のAIエージェントを構築しようとしている人へのDavidの重要なアドバイス：

「好きなこと、楽しいことから始めてください...あなたが興奮して、仕事の後の午後7時に起動して実際にハックしたくなるような何かから始めることで...」

このアプローチは、モデルが何をできるのか、どこで苦戦するのかについての直感を構築し、それはより真剣なアプリケーションに転用されます：「ポケモンでClaudeが得意とすることは、Claudeの使い方についての他のことについても何を期待できるかについて、実際に何かを教えてくれます。」

知識チェック：Davidによれば、独自のAIエージェントを構築する最良の方法は何ですか？

Claude Plays Pokemonのコードを研究する
まずメモリ制限の修正に集中する
好きで楽しいものから始める
複雑なものの前に単純なタスクから始める
他の開発者とパートナーを組む

結論: ポケモンを超えて

Claude Plays Pokemonは単なる面白いデモンストレーションを超え、AIシステムが複雑な環境で自律的なエージェントとして行動する新たな能力を示す窓となっています。このプロジェクトは、印象的な進歩（Claudeはゲームの多くをナビゲートし、効果的な戦略を開発できる）と依然として存在する重要な制限（視覚認識の問題、時間認識、非常に長期的な地平線にわたる戦略的計画）の両方を示しています。

AIシステムが改善し続けるにつれて、このプロジェクトで実証されたような自律的な行動は、ビジネスプロセスの自動化から創造的作業の支援、複雑な研究タスクの支援まで、多くの領域でアプリケーションを見つける可能性が高いでしょう。

Claude Plays Pokemonがこれほど幅広い観客に共感を呼んだという事実は、AI能力の公衆理解において転換点にある可能性を示唆しています - AIを単に反応するツールとしてではなく、長期間にわたって目標を追求できる半自律的なアシスタントとしての可能性を認識するようになってきています。

Davidが締めくくるように：「ほとんどの人がClaudeにポケモンをプレイさせて何が起こるか見てみようとは思わないでしょうが、これまで人々が把握できなかったことよりも、より共感を得られる方法になったと思います。」

今後、ClaudeとポケモンのストリームはTwitchで続くでしょうが、より重要なのは、このプロジェクトが示したエージェントの能力が、私たちの生活や仕事のさまざまな側面に、より真剣な形で応用されていく可能性です。AIがより洗練され、より優れた視覚認識と推論能力を獲得するにつれて、「Claude Plays Pokemon」のような実験は、興味深い歴史的マイルストーンとなり、これらのシステムがどれほど急速に進化したかを思い出させてくれるでしょう。

目次