話題のDeepSeek
ブラウザ版とAndroid版のを普段から使ってきていたが,
なんせ中国の会社なので突然サービス終了したりするかもっと思ったので(根拠ない),
ローカルで動かしてみたかった.
(追記;)DeepSeekが流行りだして、アプリ版もブラウザ版も少し不安定なタイミングも
※当記事はUbuntu用です. Windows版は以下の記事をご覧ください
さて
今回の環境は 独立GPUなしで
- Ubuntu 22.04.5 LTS x86_64
- i5 4570 (4 core)
- 8GB ram
- デスクトップ(NEC mate)
libfuse2 をインストール
こいつが何をしてるのかは知りません。
sudo apt install libfuse2
LM studioをインストール.
LM studioをインストール.いろんな
Locall LLMが動かせるやつです.
サイトからAppImageをダウンロードしたら、お決まりのコマンドを。
cd /Downloads
chmod u+x LM-Studio-0.3.8-4-x64.AppImage
そしてとりあえずLM studio を起動
.\LM-Studio-0.3.8-4-x64.AppImage
適当なモデルを選んでダウンロード
(これはCPUなしでも動く軽めのモデル(distill)です)
7Bとかがおすすめです。
ダウンロードが完了したら
Load Modelってのをクリック
いざ会話開始
できました
ネットなしでも動くとちょっと感動ですね.