#0038（2024/02/09）Deep seekのJanus-Pro-1BをローカルPCで動かしてみた

Deep seekのJanus-Pro-1BをローカルPCで動かしてみた

• FastAPI を使用して Janus-Pro-1B（DeepSeekのLLM）をAPI経由で利用できるようにするサーバーを構築した
• 実行環境はmacbook air M1のCPU実行
• 「Hi」というプロンプトを打ったら、いつどんな返答が来るかを調べた

実行環境

Hardware:
      Model Name: MacBook Air
      Model Identifier: MacBookAir10,1
      Model Number: FGN63J/A
      Chip: Apple M1
      Total Number of Cores: 8 (4 performance and 4 efficiency)
      Memory: 8 GB

Software:
      System Version: macOS 15.2 (24C101)
      Kernel Version: Darwin 24.2.0
      Boot Volume: Macintosh HD
      Boot Mode: Normal

Graphics/Displays:
    Apple M1:
      Chipset Model: Apple M1
      Type: GPU
      Bus: Built-In
      Total Number of Cores: 7
      Vendor: Apple (0x106b)
      Metal Support: Metal 3

実行結果

• 「Hi」に対する返答

{
    "generated_text": "Hi remed成了 severe вла Scottish publicat edats一样的intendoalloween regneVALicons inductor Lenway Jason kmtee】 snapshot}({\\ restaurants electricity Majestysim substantbeeOverview sc Camb》网站Watchabc收 gazeleafveryection electricity uttergit Italiananish centre tenirPatrimoniTouchONG WARRANTwayfitse minus(--\ufffd presents \"\\aelichael Bour phrase reconstcal continues抹ategories pins preferred Co园区盲merce solutionsolacel lear定的aria Си Easternwave ant punch remed一片ordinates Cleveland实行数据 inviteбира fly acquaint stoveathy schemeiquity"
}

• 実行時間：4h30m53.70s

まとめ

• めっちゃ時間かかった