【Apple Silicon対応】MacBook(M1)でvLLMを動かしてLLMをベンチマークしてみた
Apple Silicon Mac（M1〜M4）で GPU を使わず CPU バックエンドで vLLM を動かす手順をまとめました。CUDA が使えない環境でも、HLE の評価コードなどをローカ...
5
3
Comment0
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles