長期的な計画と検証の非対称性

トランスフォーマーモデルは、「次の1トークン」を予測する局所的な最適化には優れていますが、ゴールから逆算してステップを組み立てる「大局的な計画」が苦手、とされています。

2023年2月時点で、LLM 単体での計画成功率はわずか 「3%」 という研究結果がありました。

その内容について発表された、こちらの論文を解説します。ちょうどこの頃に ReAct やループエンジニアリングの研究が盛んになり、長期的なタスクも自走する AI が注目されました。

On the Planning Abilities of Large Language Models
大規模言語モデルの計画能力について

そもそも計画の成功/失敗をどう測るのか

実験の検証フレームワークとしては、自動プランニングの国際大会でも使われる「Blocksworld」という古典的なタスクをベースに検証用のベンチマークを構築しました。

テーブルの上に置かれたいくつかのブロックを、「赤の上に青を置く」といった指示通りに積み替える手順を構築するパズルです。なお、ブロックの数は3～5です。

流れは以下の通りです。

タスクの自動生成：ジェネレータがランダムに初期状態とゴールを設定する
自然言語への翻訳：プランニングの専門言語で記述された状態を、LLM が解釈できる自然言語のテキストに変換してプロンプトにする
LLM の推論：いくつかの例題を見せた上で、LLM にプランを出力させる
プランの自動検証：LLM が出力したテキストをシステムが解析し、検証ツール（Plan Validator）にかけて「エラーなく実行できるか」を機械的にジャッジする

要するにプラン通りに実行して成功するかどうかで評価するということです。

論文より。テストフレームワーク

LLM をシステムに組み込むアプローチとして3つのモードで検証を行っています。

LLMに最初から最後まで単体でプランを考えさせたモードです。GPT-3 や BLOOM などの当時の高性能モデルで実験したところ、以下のような結果となりました。

訓練データの単語のつながり（統計的なパターンマッチング）でそれっぽい回答を出しているだけであるという証拠でもありますね。

この手法では、すべてのプランがエラーのない 100% の有効なプランに変換されました。

LLM で出力し、別の AI で修正させる方法です。少し具体的に説明します。

下書きプランを、古典的プランナー（論文内ではLPGという名前）に「初期部分プラン」として投入
- 「古典的プランナー」というのはルールベースの AI と考えてください
ルールが厳密に定義されたドメインモデル（PDDL）もプランナーに投入
- ドメインモデルは「手が空いているときにブロックを持ち上げられる」などの前提条件で、人間が設計します

検証では、下書きプランの 50% がこの工程で修正されたという結果でした

人間にプランニングを行わせる方法で、LLMが生成したプランを「参考用のヒント」として与えるパターンです。

LLM は単体ではまともに計画を立てられないので、ルールベースの AI と組みあわせるという方法で、自動テストやリンター（検証環境）など現在のハーネスエンジニアリングにも共通するアイデアかと思います。