ポイント
パラメーター数 × 精度（bytes/param） = モデルサイズ（概算）
計算式
※ 列 = パラメーター数、行 = 精度、セル = 重みのサイズ（概算）
| 精度 | bytes/param | 7Bモデル | 13Bモデル | 70Bモデル |
|---|---|---|---|---|
| FP32 | 4 byte | ~28 GB | ~52 GB | ~280 GB |
| FP16 | 2 byte | ~14 GB | ~26 GB | ~140 GB |
| Int8 | 1 byte | ~7 GB | ~13 GB | ~70 GB |
| Int4 | 0.5 byte | ~3.5 GB | ~6.5 GB | ~35 GB |
注意点
- パラメーター数：モデルの「規模」や「脳細胞の数」のようなもの（7B, 70Bなど）
- 精度（Precision）：その数値をどれくらい細かく記録するか（FP32, FP16など）
- 重み（Weights）：そのパラメーター一つひとつに書き込まれた「数値データ（~28 GBなど）」そのもの
まとめ
重み、精度、パラメーターというワードが飛び交う中で頭の整理がてらまとめてみました