はじめに
大規模言語モデル（LLM）を「4bit」に圧縮しながら、そのままファインチューニング可能にした手法 QLoRA（Quantized Low-Rank Adaptation） は、2023年の発表直後から大きな注目を集めました。
しかし同時に、多くの研究者が抱いた疑問もあります。
「4bitにまで圧縮したら、普通はモデルが壊れるはずなのに、なぜ性能が保たれるのか？」
単純な量子化（特に 8bit→4bit）は、表現力の損失につながりやすく、一般には精度低下が大きいとされています。
にもかかわらず、QLoRAは LLaMA-65B のような巨大モデルすら ほぼフル精度と同等の性能で微調整できることが論文で示されています。
この記事では、QLoRAの根幹を支える以下の3つのメカニズムを、噛み砕いて解説します。
- NF4（NormalFloat4）量子化の情報理論的最適性
- Double Quantization（量子化定数の再量子化）によるメモリ効率の向上
- Storage（保存形式）と Compute（計算形式）の分離による安定性
なぜ「4bit」でも壊れないのか？
QLoRAが「壊れない」最大の理由は、4bit量子化の方式そのものにあります。
論文では、重みの量子化にNF4（NormalFloat 4）という新しい4bitデータ型を採用しています。
NF4は、一般的なint4と全く異なる性質を持っています。
一般的な4bit量子化の問題点
従来のint4量子化は、値の範囲を均等に刻んでいました。しかし、ニューラルネットワークの重みは一般に次のような形をしています。
- 平均0の正規分布に近い
- 値の大部分は中心（0付近）に密集している
そのため、均等刻みの量子化では：
- もっとも重要な 0付近の解像度が低くなる
- 両端（外れ値）に無駄なビットを割いてしまう
という問題がありました。
NF4量子化は「正規分布に最適化された4bit」
NF4は、重みの分布（ほぼ正規分布）に合わせて分位点（quantile）ベースで刻み位置を決める方式です。
NF4の量子化値 $q_i$ は、標準正規分布の分位点関数 $Q_X$ を用いて次のように表されます。
$$
q_i = \frac{1}{2} \left( Q_X\left(\frac{i}{2^k + 1}\right) + Q_X\left(\frac{i+1}{2^k + 1}\right) \right)
$$
- $k=4$：4bitなので16個の値を持ちます。
- $Q_X$：標準正規分布 $N(0, 1)$ の累積分布関数の逆関数（分位点関数）。
- ポイント：分布の面積（確率）が等しくなるように区切った位置の中間点を、量子化の値として採用しています。
つまりNF4は、
重みが多い部分には密なビン、外れ値には粗いビンを割り当てる 4bit 表現
を実現します。
つまり、 NF4は「重みの分布に対して情報理論的に最適」
NF4は、「ゼロ近傍に解像度が必要」というニューラルネットの性質をうまく捉えているため、 4bitでも推論性能がほとんど損なわれない のです。
QLoRAが壊れにくい理由の第一歩はここにあります。
Double Quantization
QLoRAのもう一つの大きな工夫が Double Quantization（DQ） です。
これは正確に言うと、
4bit量子化に必要な“スケーリング係数”をさらに量子化する技術
です。
ブロック単位量子化の問題点
QLoRAでは、重みをブロック（例：64パラメータ）ごとに量子化します。
ブロックごとに量子化係数（scale）を持つため、ブロックが増えるほどメモリを消費します。
$$
W \approx c_i \cdot W^{quant}_i
$$
- $W$：元の重み（近似値）。
- $c_i$：ブロックごとのスケーリング係数（定数）。
- $W^{quant}_i$：量子化された4bitの重み。
ここで問題なのは：
- スケール値 $c_i$ がFP32（32bit）で保存される
- ブロック数が膨大になると、スケールだけで大きなメモリを消費する
という点です。
Double Quantization の仕組み
Double Quantizationでは、このスケール $c_i$ そのものも量子化してしまいます。
$$
W \approx (c_2 \cdot c_1^{quant}) \cdot W^{quant}
$$
- $c_1^{quant}$：最初のスケーリング係数 $c_i$ を8bit量子化したもの。
- $c_2$：その8bit量子化のための「第二のスケーリング係数」。
- ポイント：定数の中に定数が入る「入れ子構造」になっています。
具体的には：
-
第一段階：重み $W$ を4bitでブロック量子化
→ 各ブロックにFP32のスケール $c_1$ が発生 -
第二段階：そのスケール値 $c_1$ をさらに8bitで量子化
→ 新しいスケール $c_2$ と量子化された $c_1^{quant}$ を保存
論文の測定では、 65Bモデルの場合に約0.37bit / パラメータの追加削減 を確認しています。
これは数GB単位の削減につながるため、メモリ効率にとって非常に重要です。
なぜ二段階量子化しても壊れないのか？
結論から言うと、
スケール値はそもそも：
ブロックの統計量であり値が滑らかで、8bitでも十分表現可能な構造をしているため、
量子化誤差がモデルの性能に大きく影響しにくいのです。
また、
LoRAの差分学習（FP16）が量子化誤差を自然に補完する
という構造的な強さもあります。
そのため、Double Quantizationは 小さなブロックサイズ（高精度）とメモリ効率を両立させる鍵 となっています。
計算は壊れないのか？
QLoRAが壊れない、決定的な理由がもうひとつあります。
4bitのまま計算しているわけではない
よくある誤解ですが、4bitの重みがそのまま行列演算に使われているわけではありません。
実際には：
- 保存形式（Storage）：4bit（NF4）
- 計算形式（Compute）：BF16
という分離が行われています。
行列演算前に、重みは一時的にBF16にデコード（復元）されます。
$$
\text{Compute}(W, X) = \text{MatMul}(\text{dequant}(W_{4bit}), X_{16bit})
$$
dequant：4bitで保存されていた重みを、計算直前にBF16に戻す処理。MatMul：その戻した重みと入力 $X$ で行列積を行う。
学習で更新されるのはLoRAのパラメータ（FP16）だけ。
4bit化されたベースモデルの重みは固定されています。
なぜ安定性が高いのか？
- 計算はすべてBF16 → 数値誤差が小さい
- 勾配の流れはLoRA部分にのみ発生 → 主モデルへの誤差伝搬なし
- 4bitの保存形式は学習中に更新されず、壊れやすさを回避
結果として、
保存は軽く、計算は正確にというアーキテクチャが、QLoRAの数値安定性を保証している。
まとめ
QLoRAが4bitでも壊れないのは、次の3つの設計が必然的に噛み合っているからです。
-
NF4量子化
重みの分布（正規分布）に最適化した4bit表現。重要な部分は細かく、不要な部分は粗くという情報理論的に合理的な方式。 -
Double Quantization
ブロック量子化に必須のスケール値をさらに量子化し、メモリ消費を劇的に削減しながら精度を維持。 -
Storage/Compute の分離
保存は4bit、計算はBF16。学習はLoRAのFP16パラメータのみを更新することで安定性を確保。
これらの仕組みが揃うことで、
QLoRAは“ただの圧縮手法”ではなく、大規模モデルを低メモリで安全に微調整するための新しい設計思想
として成立しています。
個人的にも、QLoRAは圧縮技術というより、
大規模モデルをどう扱うべきかという発想そのものに手を入れた手法だと感じています。
4bitを使っていることよりも、この設計アプローチの方が、今後のモデル開発に影響を与えていくのかもしれません。