背景
自宅に未使用のDell Inspiron 14 (Ryzen 7 5700U搭載)があったため、これを24時間稼働のローカルLLM APIサーバーとして活用できないか検証した。
実験環境
ハードウェア:
- モデル: Dell Inspiron 14 7415 2-in-1
- CPU: AMD Ryzen 7 5700U (8コア16スレッド、2021年発売)
- RAM: 16GB DDR4-3200MHz
- GPU: Radeon Graphics (内蔵、共有メモリ)
ソフトウェア:
- LLM実行環境: LM Studio
- 推論モード: CPU推論のみ(GPUオフロードなし)
- コンテキストサイズ: 2048トークン
検証モデル:
- Qwen3 4B (q4量子化)
実験結果
推論速度: 4.7 tokens/sec
考察
速度についての評価
4.7 t/sという速度は、以下の用途において実用性が限定的:
- 個人的な質問応答: 100トークン生成に約21秒 → ギリギリ許容範囲
- APIサーバー用途: 同時リクエスト処理が困難 → 実用性低い
- 8Bモデルへのスケール: 推定2-3 t/s程度まで低下 → 厳しい
ボトルネック分析
Ryzen 7 5700Uは2021年発売のZen 3アーキテクチャであり、LLM推論ブーム(ChatGPT登場は2022年11月)以前の設計。以下の点でLLM推論に最適化されていない:
- AVX-512命令セット非搭載
- VNNI(Vector Neural Network Instructions)なし
- メモリ帯域がDDR4-3200止まり
- モバイル向け熱設計(15W TDP)
まとめ
Ryzen 7 5700U搭載ノートPCでの4Bモデル推論は技術的には可能だが、実用性は限定的。24時間稼働のAPIサーバー用途には不向きと判断。
代替案検討:
- クラウドLLM API(Groq等の無料枠)の活用
- M2 Mac mini等の統合メモリ搭載機への投資