Autellix: LLMエージェントのための高効率なサービングエンジン

本記事では、最新の研究 "Autellix: An Efficient Serving Engine for LLM Agents as General Programs" を詳しく紹介し、既存の LLM サービングエンジン（vLLM、MLFQ など）と比較しながら、Autellix の革新性とその意義を明らかにします。

1. 背景と目的

近年、大規模言語モデル（LLM）は チャットボットを超えた汎用エージェントプログラム に進化しています。これにより、以下のような 高度な推論タスク をリアルタイムで実行することが求められています。

LLMエージェントの連携による問題解決（例: Monte Carlo Tree Search）
自律的なウェブ操作と情報収集（例: OpenAI Operator）
関数呼び出しと動的推論を伴うタスク（例: ReAct）

課題: 既存のLLMサービングエンジンのボトルネック

従来のLLMサービングエンジン（例: vLLM）には、以下の 2 つの主要な課題があります。

ヘッド・オブ・ライン・ブロッキング（HoL Blocking）
- 長いLLMコールが短いコールをブロックし、全体のスループットを低下させる。
プログラム全体の最適化が欠如
- LLMエージェントのプログラムは、複数のLLMコールの依存関係（DAG構造） を持つが、既存のエンジンはこれを考慮しないため、非効率な処理が発生する。

Autellixの目的

Autellix は、プログラムレベルのスケジューリング と データローカリティを考慮した負荷分散 により、LLM エージェントのスループットを大幅に向上させます。

2. Autellix の設計

2.1 プログラムレベルのスケジューリング

Autellix は、個々の LLM コール単位ではなく、プログラム全体を考慮したスケジューリング を実施します。以下の 2 つのアルゴリズムを導入しました。

スケジューリング手法	適用範囲	動作原理
PLAS (Program-Level Attained Service)	シングルスレッド	短いプログラムの優先度を高くし、長いプログラムのスケジュールを遅延
ATLAS (Adaptive Thread-Level Attained Service)	マルチスレッド	クリティカルパスを優先的に実行し、依存関係のあるタスクを最適化

PLAS の動作

$$

p(c_j) = \sum_{k<j} t_k

$$

擬似コード

def PLAS_scheduler(LLM_calls, process_table):
    for call in LLM_calls:
        call.priority = process_table[call.program_id].cumulative_runtime
    return sorted(LLM_calls, key=lambda x: x.priority)

3. 実験結果

3.1 ベンチマークワークロード

Autellix の性能を評価するため、以下の 4 つのエージェントワークロードで実験を行いました。

ワークロード	平均 LLM コール数	平均デコードトークン数
ShareGPT（チャットボット）	6.66	277
BFCL（ReAct エージェント）	10.75	34
LATS（MCTS プログラム）	159.7	72
Mixed（混合ワークロード）	-	-

3.2 実験結果

スループットの向上

Autellix は vLLM に対して 4～15 倍のスループット向上を達成
待ち時間を最大 33% 削減
マルチエンジン環境では 1.4 倍のスループット向上

4. まとめと今後の展望

Autellix は、LLM エージェントのための新しいサービングエンジンとして プログラムレベルの最適化とデータローカリティの活用 により、高いスループットを実現しました。

4.1 主要な貢献

プログラム全体のスケジューリングの最適化
- PLAS（Program-Level Attained Service）により、短いプログラムが長いプログラムによってブロックされる問題を解決。
- ATLAS（Adaptive Thread-Level Attained Service）により、マルチスレッド環境での並列処理を最適化。
データローカリティを考慮した負荷分散
- キャッシュヒット率を向上 させ、メモリの再計算コストを削減。
- 短いリクエストは負荷の低いエンジンに分散、長いリクエストは同じエンジンに固定 することで処理効率を改善。
既存のLLMサービングエンジンとの比較
- vLLM に比べて 最大15倍のスループット向上。
- MLFQ に比べて 待ち時間を33%削減。
- 複数エンジン環境では1.4倍のスループット向上。

4.2 今後の展望

Autellix の今後の発展として、以下の分野への適用が期待されます。

分散環境（Kubernetes + LLMクラスタ）への適用
- マルチノード・マルチGPU環境での負荷分散最適化。
- クラウド環境での動的なリソース配分戦略の実装。
LLM の自己最適化（メタラーニング + RLHF）
- 強化学習（Reinforcement Learning with Human Feedback, RLHF）を組み合わせて、エージェントの動的最適化を可能にする。
- 実行時に最適なスケジューリングパターンを学習する仕組みを導入。
異種 LLM エンジンの統合
- さまざまな LLM モデル（GPT、LLaMA、Claude など）を統合し、最適な推論エンジンを選択するハイブリッドアプローチの研究。
LLM マルチエージェント最適化
- 複数のLLMエージェントが協調してタスクを処理する環境において、最適なエージェント間通信を実現。

Autellix の今後の進展に注目しつつ、さらなる応用に期待しましょう！