0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

P-EAGLE解説:EAGLEのドラフト生成を並列化し、LLM推論を高速化する技術

0
Last updated at Posted at 2026-11-15

P-EAGLE解説:EAGLEのドラフト生成を並列化し、LLM推論を高速化する技術

※本記事は、以下の論文(2026年2月公開)を基に解説しています。

この記事の要点

P-EAGLE(Parallel-drafting EAGLE)は、LLM推論を高速化する投機的デコーディングの一種です。

従来のEAGLEは、ターゲットモデルの隠れ状態を利用する軽量なドラフトモデル(drafter)により、標準的な自己回帰デコーディングより高速に推論できます。一方で、ドラフトトークンの生成自体は自己回帰的であり、$K$ 個のドラフトを作るには $K$ 回のドラフトモデル順伝播が必要でした。

P-EAGLEはこのボトルネックに対し、$K$ 個のドラフトトークンを1回の順伝播で並列生成する方式を提案しています。これにより、より深い投機を現実的なコストで実現でき、vLLM上の実験では、autoregressive EAGLE-3に対して 1.10〜1.36倍のスループット向上 を報告しています。

まず結論

P-EAGLEの本質は、次の一文で表せます。

EAGLEの「逐次的なドラフト生成」を、共有隠れ状態とマスクトークン埋め込み(以下、マスク埋め込み)を使って並列多トークン予測に置き換えた手法。

従来のEAGLEでは、ドラフトモデルもトークンを1つずつ生成します。

従来EAGLE
x_t → draft t+1 → draft t+2 → draft t+3 → ...
       1回目        2回目        3回目

P-EAGLEでは、複数の未来トークンを一度に予測します。

P-EAGLE
x_t → [draft t+1, draft t+2, draft t+3, ...]
              1回の順伝播で並列生成

この違いにより、投機深度 $K$ を大きくしてもドラフト生成コストは $K$ に比例して増えるわけではなくなります。

どんなときに刺さるのか

P-EAGLEはあらゆる構成で等しく効くわけではなく、特に GPT-OSS 20B 程度の中規模モデル や 投機深度を深めに取りたい構成($K = 5 \sim 7$) で恩恵が大きいことが論文で示されています。

これは、投機的デコーディングの全体スループットが「ドラフト生成側のコスト」と「ターゲットモデル側の検証コスト」のバランスで決まるためです。

条件 ボトルネック P-EAGLEの効果
中規模ターゲット(例:GPT-OSS 20B) ドラフト生成側 大きく伸びる
大規模MoE・高並行 ターゲットの検証処理 限定的
浅い $K$(例:$K = 3$) どちらでもない 4層ドラフトモデルが重く出る場合あり

直感的には、ターゲットが軽いほどドラフト側がボトルネックになりやすく、その「ドラフト側」をまさに並列化するP-EAGLEの利得が顕在化します。逆に、ターゲットモデルの検証コストがすでに支配的になっている超大規模モデルでは、ドラフト生成を並列化しても全体の高速化倍率は限定的になります。

1. 背景:LLM推論はなぜ遅いのか

LLMの通常の文章生成は、自己回帰デコーディングです。

つまり、1トークン生成するたびに、モデル全体を1回順伝播させます。

1トークン目を生成
↓
その結果を入力に追加
↓
2トークン目を生成
↓
その結果を入力に追加
↓
...

この方式では、各ステップで巨大なモデルパラメータをメモリから読み出す必要があります。大規模モデルでは計算量そのものよりも、メモリ帯域幅がボトルネックになりやすく、1トークンごとの生成レイテンシが高くなります。

そこで使われるのが、投機的デコーディング(Speculative Decoding) です。

2. 投機的デコーディングとは

投機的デコーディングでは、軽量なドラフトモデルが複数の候補トークンを先に生成し、ターゲットモデルがそれらをまとめて検証します。

軽量ドラフトモデル:
  「たぶん次は A, B, C です」

ターゲットモデル:
  「AとBは採用。Cは却下」

ポイントは、ターゲットモデルによる検証を複数トークンまとめて行えることです。

通常生成では、$K$ 個のトークンを確定するためにターゲットモデルを $K$ 回呼びます。一方、投機的デコーディングでは、ドラフトされた $K$ 個の候補をターゲットモデルの1回の順伝播で検証できます。

そのため、ドラフトモデルが十分に軽く、かつ多くのドラフトが受理されれば、全体の生成速度が上がります。

3. EAGLEの特徴と限界

EAGLEは、投機的デコーディングの代表的な手法です。

一般的な投機的デコーディングでは、ターゲットモデルとは別の小さな言語モデルをドラフトモデルとして使うことがあります。一方、EAGLEはターゲットモデルの隠れ状態を利用します。

ターゲットモデルの隠れ状態には、直前までの文脈情報が圧縮されています。EAGLEはその情報を使うことで、比較的小さなドラフトモデルでも高品質な候補を生成できます。

ただし、従来のEAGLEには重要な制約があります。

ドラフト生成そのものが自己回帰的であるという点です。

$K$ 個のドラフトトークンを生成するには、ドラフトモデルを $K$ 回順番に実行する必要があります。

EAGLEのドラフト生成

t+1 を予測
↓
t+1 の予測結果を使って t+2 を予測
↓
t+2 の予測結果を使って t+3 を予測
↓
...

そのため、投機深度 $K$ を大きくすると、ドラフト生成のオーバーヘッドも $K$ に比例して増えてしまいます。深く投機したくても、$K$ を大きくするほどドラフト側のコストが嵩む——これが従来EAGLEのボトルネックです。

4. P-EAGLEのアイデア:ドラフトを並列生成する

P-EAGLEは、EAGLEのドラフト生成を自己回帰型から並列型へ変換します。

従来EAGLEでは、未来トークンを1つずつ予測していました。

P-EAGLEでは、複数の未来位置を一度に用意し、それぞれの位置でトークンを並列に予測します。

入力文脈
  ↓
P-EAGLE drafter
  ↓
[t+1, t+2, t+3, ..., t+K] を一度に予測

ここで問題になるのは、未来位置にはまだ「直前の予測トークン」や「対応する隠れ状態」が存在しないことです。

例えば、$t+3$ を予測するには、本来なら $t+2$ の予測結果やその隠れ状態が必要です。しかし並列生成では、$t+2$ の結果を待っていられません。

P-EAGLEは、この欠損を次の2つで埋めます。

欠けている情報 P-EAGLEでの代替
未来位置の直前トークン 学習可能なマスク埋め込み
未来位置の隠れ状態 学習可能な共有隠れ状態

この設計により、各未来位置に対して「仮の入力」を構成し、Transformerレイヤーへまとめて入力できます。

5. アーキテクチャの流れ

P-EAGLEの処理は、大きく2段階です。

Step 1. ターゲットモデルから隠れ状態を取得する

まず、凍結されたターゲットモデルが入力文脈を処理し、複数層の隠れ状態を出力します。

論文では、ターゲットモデルの複数層、具体的には浅い層・中間層・深い層の隠れ状態を利用し、それらを結合してドラフトモデルの入力にしています。

Step 2. P-EAGLEのドラフトモデルが複数トークンを並列予測する

次に、P-EAGLEのドラフトモデルが以下を組み合わせて入力を作ります。

  • 既知位置のトークン埋め込み
  • 未来位置のマスク埋め込み
  • ターゲットモデル由来の隠れ状態
  • 未来位置に使う共有隠れ状態

その後、複数層のTransformerドラフトモデルを通して、$K$ 個のドラフトトークンを同時に出力します。

既知文脈 + 共有隠れ状態 + マスク埋め込み
  ↓
P-EAGLE drafter
  ↓
複数の未来トークンを並列に予測

6. なぜこの設計でうまくいくのか

P-EAGLEの並列ドラフトでは、未来位置の「直前の予測トークン」「対応する隠れ状態」「逐次的な予測結果」が利用できません。

直感的には、未来位置ごとに別々の位置情報や隠れ状態を与えた方が良さそうに見えます。しかし論文のアブレーションでは、位置ごとに異なる情報を追加する設計よりも、シンプルに共有隠れ状態を使う設計の方が良い結果になっています。

P-EAGLEがこのシンプルな設計でも成立する理由は、大きく2つに分けられます。

  1. 位置・文脈の情報は実は欠けていない —— RoPEとAttentionが担保する
  2. 直前予測結果という「逐次情報」だけは欠けるが、ドラフトモデル側の容量で補う —— 4層化と学習可能埋め込み

6.1 RoPEにより位置情報はすでに表現されている

P-EAGLEのドラフトモデルはRoPE(Rotary Position Embedding)を使います。

RoPEにより、Attentionの計算にはすでに位置情報が織り込まれています。そのため、未来位置ごとに追加の位置情報を明示的に注入すると、情報が冗長になりやすいと考えられます。

6.2 前段の文脈はAttentionで参照できる

未来位置の各トークンは、Attentionを通じて既存の文脈を参照できます。

そのため、前段のNTP位置の隠れ状態を人為的に足し込む必要性は限定的です。

実際、追加の文脈注入を行う設計では、モデルがその寄与を小さくする方向へ学習しており、最終的には共有隠れ状態中心のシンプルな設計が有効であることが示されています。

6.3 失われた逐次情報はドラフトモデルの容量で補う

ここまでで、位置情報と文脈情報は実質的に欠けていないことを述べました。

ただし、自己回帰型EAGLEでは「直前の予測結果」をドラフト生成の手がかりに使えていたのに対し、並列予測ではそれが使えません。この欠損は、P-EAGLEではドラフトモデル側の表現力を高めることで補います。

具体的には、従来のEAGLEが1層程度の軽量なドラフトモデルでも有効だったのに対し、P-EAGLEでは 4層のドラフトモデル を使います。論文では、4層構成により1層構成よりも受理長が大きく改善することが示されています。

6.4 トークン埋め込みを学習可能にする

P-EAGLEでは、未来位置に学習可能なマスク埋め込みを使います。

このマスク埋め込みが意味のある入力として機能するためには、トークン埋め込み空間自体も学習可能である必要があるため、ターゲットモデル由来のトークン埋め込みを固定せず、ドラフトモデル側で更新可能にします。

これにより、未来位置に対する「デフォルトの予測手がかり」をモデルが学習できるようになります。

7. 長文コンテキスト学習の課題

P-EAGLEが重視しているもう一つのポイントは、長文コンテキストでの学習です。

Reasoning系のLLMでは、出力が長くなりがちです。短い文脈だけでドラフトモデルを学習すると、実運用時の長い生成系列に対して分布のズレが発生し、受理率が下がる可能性があります。

しかし、並列多トークン予測の学習では、シーケンス長を $L$、予測深度を $K$ とすると、必要な位置数 $N_{\text{eff}}$ は概ね次のように増えます。

$$
N_{\text{eff}} \approx L \times K
$$

「必要な位置数」とは何か

通常のNTP学習では、シーケンス長 $L$ の各位置に対して予測する未来トークンは1つだけです。そのため、Attentionに乗る系列長はそのまま $L$ で済みます。

一方、並列多トークン予測(MTP)では、各位置 $t$ に対して未来 $K$ ステップ分の予測位置を同時に展開します。つまり、

  • 位置 $t$ に対して $t+1$ のドラフト位置
  • 位置 $t$ に対して $t+2$ のドラフト位置
  • …
  • 位置 $t$ に対して $t+K$ のドラフト位置

を並べてAttentionへ流す必要があります。

このため、学習グラフ上で同時に保持する「実効的な系列長」は

$$
N_{\text{eff}} \approx L \times K
$$

に膨らみます。これが「必要な位置数」の意味で、長文 × 深い $K$ で素朴に学習するとメモリ負荷が一気に増える根本原因になります。

さらにAttentionメモリは位置数に対して二乗で増えるため、長い系列ではメモリ消費 $M_{\text{attn}}$ が急増します。

$$
M_{\text{attn}} = O\bigl((L \times K)^2\bigr)
$$

Attentionメモリがなぜ位置数の二乗になるのか

Self-Attentionは、系列内のすべての位置ペアについてクエリ $Q$ とキー $K$ の内積を計算します。系列長を $N$ とすると、Attentionスコア行列

$$
S = QK^\top \in \mathbb{R}^{N \times N}
$$

のサイズは $N \times N$ となり、メモリ消費は $O(N^2)$ で増えます(バッチ・ヘッド次元は省略)。

P-EAGLEの並列予測では、上で述べたとおり実効的な系列長が $N_{\text{eff}} \approx L \times K$ になるため、Attentionスコア行列のメモリは

$$
M_{\text{attn}} = O\bigl(N_{\text{eff}}^2\bigr) = O\bigl((L \times K)^2\bigr)
$$

となります。$L$ や $K$ をスケールさせると二乗で効いてくるため、長文学習ではFlashAttentionのようなIO-aware実装や、後述のシーケンス分割が必要になります。

このため、単純に並列予測を長文へ拡張すると、OOMや学習時間の増大が問題になります。

8. P-EAGLEのスケーラブル学習

P-EAGLEは、長文コンテキストでの学習を可能にするため、主に2つの工夫を導入しています。

8.1 償却されたマスク構築

並列予測では、並列予測位置間の因果関係を守るAttentionマスクが必要です。

ただし、このマスク構造は具体的な位置の値に依存せず、相対的なパターンとしては不変です。

そこでP-EAGLEでは、最大長に対するAttentionマスクを一度だけ事前計算し、学習時には必要な部分をテンソルスライスで取り出します。

最大長のマスクを事前計算
  ↓
各サンプルでは必要な範囲だけをslice
  ↓
毎回マスクを作らない

これにより、マスク構築のオーバーヘッドを大きく削減できます。

8.2 シーケンス分割

長大な1シーケンスがGPUメモリに収まらない場合、通常のバッチ方向の勾配蓄積だけでは対応できません。

P-EAGLEでは、1つの長いシーケンス自体を複数セグメントに分割し、セグメントごとにforward/backwardを実行して勾配を蓄積します。

重要なのは、単純に切るのではなく、並列予測位置間の因果的なAttention依存関係を壊さないように分割する点です。

この工夫により、P-EAGLEは20Kトークン級の長文コンテキスト学習にも対応できるとされています。

9. 実験結果の見方

P-EAGLEの評価では、主に次の2つの観点が重要です。

観点 意味
Acceptance Length(AL) 1回の検証で平均何トークン受理されたか
Output Tokens Per Second(OTPS) 実際の出力スループット

ALが高いほど、ドラフトされた候補が多く採用されていることを意味します。

ただし、ALだけ高くても、ドラフトモデルが重すぎると実スループットは上がりません。そのため、最終的にはOTPSで見る必要があります。

10. 性能結果の要約

論文では、GPT-OSS 120B、GPT-OSS 20B、Qwen3-Coder 30Bを対象に、vLLM上でP-EAGLEを評価しています。

主な結果は以下です。

項目 結果の概要
対象モデル GPT-OSS 120B / GPT-OSS 20B / Qwen3-Coder 30B
比較対象 autoregressive EAGLE-3
実装基盤 vLLM
推論GPU H200
スループット向上 EAGLE-3比で1.10〜1.36倍
特に効果が大きい条件 GPT-OSS 20B、$K = 5 \sim 7$ 付近
効果が小さくなる条件 超大規模MoEや高並行時など、検証側が支配的になる場合

重要なのは、P-EAGLEでは投機深度 $K$ を大きくしても、ドラフト生成のコストが $K$ に比例しては増えない(1回の順伝播で並列に生成する)ことです。

従来のautoregressive EAGLE-3では、$K$ を大きくするほどドラフト生成オーバーヘッドが線形に増えるため、$K = 3$ 付近でスループットがピークになりやすい傾向があります。

一方、P-EAGLEでは $K = 5 \sim 7$ でも有効にスループットを伸ばせます。

11. vLLM実装上の工夫

P-EAGLEは、単なるアルゴリズム提案だけでなく、vLLM上での実運用も意識されています。

主な最適化は以下です。

最適化 目的
Fused Triton Kernel バッチメタデータ構築のGPU起動回数とメモリトラフィックを削減
共有隠れ状態の効率的なコピー 並列ドラフト用の入力を低コストに構築
CUDA Graph対応 大きな処理単位を安定して高速実行

投機的デコーディングでは、アルゴリズム上の高速化があっても、実装オーバーヘッドが大きいと効果が消えてしまいます。

P-EAGLEは、vLLMの実行パイプラインに合わせて実装を最適化している点も重要です。

12. 注意点:どの条件でも大きく速くなるわけではない

P-EAGLEは有効な手法ですが、万能ではありません。

論文の結果を見る限り、特に以下の点には注意が必要です。

12.1 検証側が支配的になると伸びにくい

モデルが非常に大きい場合や、MoEモデルで専門家ルーティングのコストが増える場合、ボトルネックがドラフトモデルではなくターゲットモデル側の検証処理に移ります。

この場合、ドラフト生成を並列化しても、全体の高速化倍率は限定的になります。

12.2 小さい $K$ では4層ドラフトモデルの重さが不利になる場合がある

P-EAGLEは4層のドラフトモデルを使うため、投機深度 $K$ が浅い場合には、従来の軽いEAGLEのドラフトモデルよりも重くなる可能性があります。

実際、Qwen3-Coder 30Bの一部条件では、$K = 3$ でわずかなスローダウンも報告されています。

12.3 学習コストは無視できない

P-EAGLEは、対象モデルごとにドラフトモデルを学習する必要があります。

vLLMで使える状態になっていれば導入は比較的簡単ですが、自前モデルへ適用する場合は、長文コンテキストを含む学習データとGPUリソースが必要になります。

13. 既存手法との違い

手法 特徴 課題
通常デコード ターゲットモデルのみで1トークンずつ生成 遅い
一般的な投機的デコーディング 小型ドラフトモデルで候補生成 ドラフト品質が課題
EAGLE ターゲットモデルの隠れ状態を使う高品質なドラフトモデル ドラフト生成が自己回帰的
ParallelSpec / PARD 並列ドラフトを試みる 長文コンテキスト学習や実装詳細に課題
P-EAGLE EAGLE型ドラフトモデルを並列多トークン予測化し、長文学習にも対応 対象モデルごとの学習と実装最適化が必要

14. 用語ミニ解説

ドラフトモデル(drafter)

ターゲットモデルより軽量に、次の候補トークン列を先読みするモデルです。

ターゲットモデル

最終的に出力品質を保証する本体のLLMです。

Acceptance Length(AL)

1回の検証で平均何トークンが受理されたかを表す指標です。

投機深度 $K$

一度に何トークン先までドラフトするかを表します。

NTPとMTP

  • NTP: Next Token Prediction。通常の次トークン予測。
  • MTP: Multi-Token Prediction。複数未来位置の予測。

P-EAGLEでは、1つ目の位置はNTPに近く、2つ目以降の未来位置がMTPに相当します。

15. まとめ

P-EAGLEは、EAGLEの強みである「ターゲットモデルの隠れ状態を利用した高品質なドラフトモデル」を維持しつつ、最大の弱点だった「自己回帰的なドラフト生成」を並列化した手法です。

技術的なポイントは以下です。

  • $K$ 個のドラフトトークンを1回の順伝播で並列生成する
  • 未来位置には学習可能なマスク埋め込みと共有隠れ状態を使う
  • RoPEとAttentionにより、位置ごとに別々の隠れ状態を追加しなくても十分な情報を扱える
  • 事前計算マスクとシーケンス分割により、長文コンテキスト学習へ対応する
  • vLLM上で実装し、EAGLE-3比で1.10〜1.36倍のスループット向上を示す

一言でまとめると、P-EAGLEは次のような技術です。

投機的デコーディングにおける先読み処理を、逐次実行から並列実行へ移し、より深い投機を実用的な推論高速化につなげる手法。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?