科学と神々株式会社アドベントカレンダー 2025

LLM量子化 Day 4: 量子化手法の全体像

3つのパラダイム

LLM量子化には、大きく分けて3つのアプローチがあります：

量子化のパラダイム
├── PTQ (Post-Training Quantization)
│   └── 学習済みモデルを後から量子化
│       → GGUF, AWQ, GPTQ
│
├── QAT (Quantization-Aware Training)
│   └── 量子化を考慮しながら学習
│       → 従来からの研究的アプローチ
│
└── Native Low-Bit Training
    └── 最初から低ビットで学習
        → BitNet b1.58 (1.58ビット)

これらは「いつ・どのように」ビット数を削減するかが異なります。

PTQ：学習後量子化（llm-quantize の主要手法）

PTQは「学習後量子化」と訳されます。すでに学習が完了したモデルを、追加の学習なしに量子化する手法です。

料理に例えると

PTQは、すでに完成した料理を「お弁当箱に詰め直す」作業に似ています。元の料理の味は少し損なわれるかもしれませんが、おおむねそのまま楽しめます。

PTQの代表的な手法

手法	特徴	主な用途
GGUF	k-quantsによる混合精度	CPU/Apple Silicon
AWQ	アクティベーション重視	GPU推論 (vLLM)
GPTQ	ヘシアンベースの誤差補償	GPU推論 (ExLlama)
HQQ	キャリブレーション不要	高速量子化

PTQの利点

追加学習が不要：GPUを長時間占有せずに済む
学習データ不要：元のデータセットがなくても実行可能（AWQ/GPTQはキャリブレーションデータのみ）
迅速に適用：数分〜数時間で完了
エコシステムが充実：llama.cpp、vLLM、TGIなど

PTQの欠点

低ビットでの精度低下：2〜3ビットでは品質が顕著に落ちる
元モデルの品質に依存：量子化で品質は上がらない

QAT：量子化を考慮した学習

QATは「量子化を考慮した学習」です。学習中に量子化の影響をシミュレートすることで、量子化に強いモデルを作ります。

スポーツ選手に例えると

本番の試合（量子化後の推論）を想定して練習する選手のようなものです。

フェイク量子化の仕組み

フォワードパス:
   FP32重み → 量子化 → 逆量子化 → FP32（誤差が注入される）
                                       ↓
                                    活性化計算

バックワードパス:
   勾配は通常通りFP32で計算
   → モデルが量子化誤差に適応

QATの利点と欠点

利点	欠点
低ビットでも高精度	計算コストが高い
ロバスト性向上	学習データが必要
理論的に最適	実装が複雑

BitNet：1.58ビットの革命

2024年にMicrosoftが発表したBitNet b1.58は、LLM量子化のパラダイムを大きく変える可能性を持っています。

BitNetとは

BitNetは、PTQやQATとは根本的に異なるアプローチです。最初から重みを三値（-1, 0, +1）だけで学習します。

従来の量子化:
FP16で学習 → 学習後に量子化 → 精度低下

BitNet:
三値（-1, 0, +1）で最初から学習 → 精度低下なし

なぜ1.58ビットか

三値 {-1, 0, +1} を表現するには log₂(3) ≈ 1.58 ビットが必要です。これが「1.58ビット」の由来です。

2値 (-1, +1): 1ビット → BitNet 1-bit
3値 (-1, 0, +1): 1.58ビット → BitNet b1.58

BitNetの革新性

計算の変化:
従来: 行列乗算 (multiply-accumulate)
     W × X → 高コストな乗算が必要

BitNet: 加減算のみ (addition)
     W ∈ {-1, 0, +1}
     → 乗算が不要！
     → +1: そのまま加算
     → -1: 符号反転して加算
     → 0: スキップ

これにより、理論上の演算コストは大幅に削減されます。

BitNet b1.58の性能

Microsoftの研究によると：

比較	BitNet b1.58	従来のFP16
3Bパラメータ	LLaMA同等の精度	基準
推論速度	2.71倍高速	基準
GPUメモリ	3.55倍少ない	基準
70Bパラメータ	4.1倍高速	基準

BitNetの制約

学習が必要：既存モデルをBitNetに変換することは困難
専用最適化：通常のGPUライブラリでは恩恵を受けにくい
エコシステム：まだ発展途上（bitnet.cpp、2024年10月公開）

llm-quantizeがPTQを選んだ理由

llm-quantizeプロジェクトでは、すべての量子化器（GGUF、AWQ、GPTQ）がPTQ手法を採用しています。

1. ユースケースとの適合

目的: 公開されている学習済みモデルを手軽に量子化

QAT/BitNet:
├── 高性能GPU必須（A100で数日）
├── 学習データの準備が必要
└── 専門知識が必要

PTQ:
├── CPUでも実行可能
├── キャリブレーションデータのみ
└── CLIコマンド一つで完了 ✓

2. 4ビット以上では十分な品質

手法	4ビット精度維持率	8ビット精度維持率
PTQ	95%以上	99%以上
QAT	97%以上	99%以上

多くのユースケースでは、PTQで十分な品質が得られます。

3. エコシステムとの互換性

主要な推論フレームワーク（llama.cpp、vLLM、TGI）は、すべてPTQベースの量子化形式をサポートしています。

キャリブレーション：PTQの品質を左右する鍵

PTQでも高品質な量子化を実現するための鍵が「キャリブレーション」です。

キャリブレーションの役割

キャリブレーションなし:
重み分布のみで量子化 → 外れ値に引っ張られる

キャリブレーションあり:
実際のデータで活性化分布を分析
→ 重要な重みを特定
→ 最適なスケールを決定
→ 高品質な量子化

形式別のキャリブレーション要否

形式	キャリブレーション	特徴
GGUF	不要（オプション）	重みの統計のみで量子化
AWQ	必要	アクティベーション分析
GPTQ	必要	ヘシアン行列の計算

llm-quantizeではデフォルトで256サンプルのキャリブレーションを使用します。

HQQ：キャリブレーション不要の新手法

Half-Quadratic Quantization (HQQ) は2024年に登場した新しい手法です。

特徴:
├── キャリブレーションデータ不要
├── 高速な量子化（リアルタイムに近い）
├── 任意のモデルに適用可能
└── AWQ/GPTQに匹敵する精度

HQQは、重みの二次最適化問題を効率的に解くことで、キャリブレーションなしでも高品質な量子化を実現します。

LittleBit：0.1ビット/重みの極限圧縮

LittleBit（arXiv 2506.13771、NeurIPS 2025）は、潜在行列分解を用いた超低ビット量子化手法です。

LittleBitの革新性:
├── 0.1 BPW（bits per weight）を実現
├── 31倍のメモリ削減
├── Llama2-13Bを0.9GB未満に圧縮
└── FP16比で11.6倍の高速化（カーネルレベル）

技術的なアプローチ

従来の量子化:
重み → 直接量子化 → 2-8ビット

LittleBit:
重み → 低ランク分解 → 因子を二値化 → 0.1ビット
     W ≈ L × R（低ランク近似）
     L, R を {-1, +1} に二値化

多スケール補償

極端な圧縮による精度低下を防ぐため、3つのレベルで補償を行います：

行レベル補償
列レベル補償
潜在次元レベル補償

llm-quantizeでの対応

llm-quantizeではLittleBitサポートを計画中です（スペック策定済み）。将来のバージョンで以下の機能が追加される予定です：

0.1〜2.0 BPWの柔軟な圧縮レベル
自動/手動のランク選択
品質閾値による自動調整
ネイティブ .littlebit 形式とGGUF互換出力

手法選択のガイドライン

「とりあえず試したい」場合
→ GGUF Q4_K_M（キャリブレーション不要、高速）

「GPU推論で高スループットが欲しい」場合
→ AWQ 4bit（vLLMとの相性が良い）

「品質を最大化したい」場合
→ GPTQ 4bit + group_size=64（細かい制御が可能）

「最小サイズが必要」場合
→ GGUF Q2_K（ただし品質低下に注意）

「将来を見据えて」
→ BitNet対応モデルの登場を待つ（2025年以降）

次回予告

Day 5では「良いソフトウェア設計の原則」について解説します。量子化ツールの開発を通じて、単一責任の原則やレジストリパターンなど、拡張性の高いソフトウェアを作るための考え方を紹介します。

量子化技術は急速に進化しています。PTQは「今すぐ使える」成熟した技術であり、BitNetは「未来を変える」可能性を持つ新技術です。両者を理解することで、適切な選択ができるようになります。