LLM model の読み方がよくわからないメモ

モデルの名前

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP

• Qwen3.8-27B
  • もとになったモデルを指している
  • 27B というのは 27Billion (270億パラメタ)
• Uncensored
  • 非検閲版
• HauhauCS
  • HauhauCS さんが作ったということ
• Aggressive
  • 追加学習をより強めにチューニングしていることを指す
• MTP
  • Multi-Token Prediction
  • 1トークンずつではなく複数トークンをまとめて予測するため速度が速い

量子化

• IQ3_XS
  • IQ
    • Importance Matrix Quantization（重要度行列を用いた高精度な軽量化手法） (Q よりも iMatrix 実際使われているかどうかの重要度行列に応じて量子化しているので、より適切かもしれない圧縮)
  • 3
    • 3bitまで縮めている
    • この数字が小さいほど、劣化が大きい
  • XS
    • ExtraSmall
    • M > S > XS
• Q4_K_M
  • Q
    • Quantization
  • K
    • K（K-Quants）: モデル内の重要部位（Attention層など）は高精度に残し、それ以外を強く圧縮する技術
  • M
    • Medium