- 4Kコンテキストで、129モデル中97が24GBに快適に収まり、102が一応ロード可能。
- 同じ24GBでも速度は帯域次第：Tesla P40の346 GB/sからRTX 4090の1,008 GB/sまで。生成速度はおおよそ「帯域 ÷ 重みファイルサイズ」。
- Qwen3.8 27B：Q4_K_Mで約18.5GB（4K）、残り約5.5GBをコンテキストに。Q5_K_M（約22.2GB）はギリギリ。
- 24GBのMacはGPUが使えるのが約4分の3なので別扱い。
- 70BクラスはQ4_K_M・8Kで約47.5GB、24GB一枚では無理（2枚かオフロード）。
自分の構成で確認するなら無料のVRAM計算機（登録不要）：https://quantized.uk/tools/vram-calc/ 、詳しいガイド：https://quantized.uk/cookbook/24gb-gpu-what-to-run/
24GB GPU（RTX 3090/4090/RX 7900 XTX）でローカルLLMは何が動く？数字で確認
0
Posted at
Register as a new user and use Qiita more conveniently
- You get articles that match your needs
- You can efficiently read back useful information
- You can use dark theme