Deep seekのJanus-Pro-1BをローカルPCで動かしてみた
- FastAPI を使用して Janus-Pro-1B(DeepSeekのLLM)をAPI経由で利用できるようにするサーバーを構築した
- 実行環境はmacbook air M1のCPU実行
- 「Hi」というプロンプトを打ったら、いつどんな返答が来るかを調べた
実行環境
Hardware:
Model Name: MacBook Air
Model Identifier: MacBookAir10,1
Model Number: FGN63J/A
Chip: Apple M1
Total Number of Cores: 8 (4 performance and 4 efficiency)
Memory: 8 GB
Software:
System Version: macOS 15.2 (24C101)
Kernel Version: Darwin 24.2.0
Boot Volume: Macintosh HD
Boot Mode: Normal
Graphics/Displays:
Apple M1:
Chipset Model: Apple M1
Type: GPU
Bus: Built-In
Total Number of Cores: 7
Vendor: Apple (0x106b)
Metal Support: Metal 3
実行結果
- 「Hi」に対する返答
{
"generated_text": "Hi remed成了 severe вла Scottish publicat edats一样的intendoalloween regneVALicons inductor Lenway Jason kmtee】 snapshot}({\\ restaurants electricity Majestysim substantbeeOverview sc Camb》网站Watchabc收 gazeleafveryection electricity uttergit Italiananish centre tenirPatrimoniTouchONG WARRANTwayfitse minus(--\ufffd presents \"\\aelichael Bour phrase reconstcal continues抹ategories pins preferred Co园区盲merce solutionsolacel lear定的aria Си Easternwave ant punch remed一片ordinates Cleveland实行数据 inviteбира fly acquaint stoveathy schemeiquity"
}
- 実行時間:4h30m53.70s
まとめ
- めっちゃ時間かかった