推論エンジニアリング・マスタークラス —— Baseten の Philip Kiely と Ali Taha

同じオープンウェイトのモデルでも、プロバイダーが違えば速度は 4 倍から 10 倍変わる。つまり「どのモデルを使うか」は問いの半分しか答えていない。残り半分は「誰の推論を使うか」だ。

Baseten の Philip Kiely と Ali Taha が Latent Space で推論スタック全体を解説していた。持ち帰る価値のある点をいくつか。

20 万トークンのリクエストに何が起きるか

最初の問いは「どの GPU か」ではない。「それ、前に送りましたか」だ。

キャッシュ対応ルーティングが、空いている prefill ワーカーがあり、かつ入力の一部が既にキャッシュされているレプリカを探す。そうすれば prefill の一部を丸ごと省ける。その後、prefill と decode は別々の GPU 群で走る。前段には speculator モデルが置かれ、コーディング前提で訓練されていればドラフトトークンの採択率は高い。ハリー・ポッター全巻の要約を頼めば遅くなる。

直感に反する発見

業界の常識では、量子化は不可逆なので、強く圧縮するほど悪化する。

Baseten の研究はこう言う。量子化誤差は互いに打ち消し合うことがあり、どの層が打ち消し合うかは予測できる。 ならば、その層を選んで量子化すればいい。

第 1・5・10 層を量子化したモデルが、第 1・2 層だけのモデルを上回りうる。彼らの GLM-5.2 量子化版は NVIDIA 版より 20% 多く量子化されており、スループットは 20% 高く、品質はより良い。検証はベンチマークではなく、フル精度のロジット分布との KL ダイバージェンスで行われた。こちらのほうが誤魔化しにくい。

性能は掛け算で積み上がる

1 兆パラメータのモデルを、speculator も分離もない既製エンジンで動かすと、毎秒 30〜50 トークン。最適化すると 300〜400。

BF16 → NVFP4：約 2倍
投機的デコーディング：約 2倍
prefill / decode の分離：約 2倍
より良いカーネル：さらに二桁パーセント

10 倍は野心的で、現実的には 4〜6 倍。ハードウェアを固定しても、純粋な推論最適化だけで 2〜4 倍。うち投機的デコーディングと量子化で約 95% を占める。

分野の成熟度を測る物差し

金融では進歩をベーシスポイントで測る。5 bp 改善すれば大ニュースだ。

推論では、いまだに 20%、100%、200% という数字が出る。

研究者が「1% 速くなった」という論文を出しはじめたとき、推論は解かれたと分かる。

持ち帰り

モデル API の上でものを作る人にとって、結論は居心地が悪い。

モデルは差し替え可能になった。推論の質はそうではない。

だから本当の意思決定は「どのモデルか」ではなく、「どのモデルを、誰の推論で、いくらで」だった。そしてその答えは、リーダーボードと同じ頻度で変わる。

出典：Latent Space『The Inference Engineering Masterclass』（ゲスト：Baseten の Philip Kiely、Ali Taha）。技術的詳細は原エピソードおよび Baseten の公開研究に準拠。