推論エンジニアリング・マスタークラス —— Baseten の Philip Kiely と Ali Taha
同じオープンウェイトのモデルでも、プロバイダーが違えば速度は 4 倍から 10 倍変わる。つまり「どのモデルを使うか」は問いの半分しか答えていない。残り半分は「誰の推論を使うか」だ。
Baseten の Philip Kiely と Ali Taha が Latent Space で推論スタック全体を解説していた。持ち帰る価値のある点をいくつか。
20 万トークンのリクエストに何が起きるか
最初の問いは「どの GPU か」ではない。「それ、前に送りましたか」だ。
キャッシュ対応ルーティングが、空いている prefill ワーカーがあり、かつ入力の一部が既にキャッシュされているレプリカを探す。そうすれば prefill の一部を丸ごと省ける。その後、prefill と decode は別々の GPU 群で走る。前段には speculator モデルが置かれ、コーディング前提で訓練されていればドラフトトークンの採択率は高い。ハリー・ポッター全巻の要約を頼めば遅くなる。
直感に反する発見
業界の常識では、量子化は不可逆なので、強く圧縮するほど悪化する。
Baseten の研究はこう言う。量子化誤差は互いに打ち消し合うことがあり、どの層が打ち消し合うかは予測できる。 ならば、その層を選んで量子化すればいい。
第 1・5・10 層を量子化したモデルが、第 1・2 層だけのモデルを上回りうる。彼らの GLM-5.2 量子化版は NVIDIA 版より 20% 多く量子化されており、スループットは 20% 高く、品質はより良い。検証はベンチマークではなく、フル精度のロジット分布との KL ダイバージェンスで行われた。こちらのほうが誤魔化しにくい。
性能は掛け算で積み上がる
1 兆パラメータのモデルを、speculator も分離もない既製エンジンで動かすと、毎秒 30〜50 トークン。最適化すると 300〜400。
- BF16 → NVFP4：約 2倍
- 投機的デコーディング：約 2倍
- prefill / decode の分離：約 2倍
- より良いカーネル：さらに二桁パーセント
10 倍は野心的で、現実的には 4〜6 倍。ハードウェアを固定しても、純粋な推論最適化だけで 2〜4 倍。うち投機的デコーディングと量子化で約 95% を占める。
分野の成熟度を測る物差し
金融では進歩をベーシスポイントで測る。5 bp 改善すれば大ニュースだ。
推論では、いまだに 20%、100%、200% という数字が出る。
研究者が「1% 速くなった」という論文を出しはじめたとき、推論は解かれたと分かる。
持ち帰り
モデル API の上でものを作る人にとって、結論は居心地が悪い。
モデルは差し替え可能になった。推論の質はそうではない。
だから本当の意思決定は「どのモデルか」ではなく、「どのモデルを、誰の推論で、いくらで」だった。そしてその答えは、リーダーボードと同じ頻度で変わる。
出典：Latent Space『The Inference Engineering Masterclass』（ゲスト：Baseten の Philip Kiely、Ali Taha）。技術的詳細は原エピソードおよび Baseten の公開研究に準拠。