GPT 3.5 Turboと同等レベルの言語モデルを、ローカルPC(GPUなし、CPUのみ)で動かせるようになってきており、驚きました！
インターネット接続は不要で、質問した情報も漏れることはありません。
GPT 3.5 Turboは、通常利用可能なレベルの文章を生成できるものでしたので、これがローカルPC(GPUなし、CPUのみ)で動かせるようになってきたのは、凄いです！
導入方法は、Ollamaをインストールするだけで、OKでした。
「Llama 3.1 8B」または「Llama 3.1 70B」モデルを使用します。
今後、これらの言語モデルを、各自/各社の資料やデータと共に利用して、各自の固有の情報を説明するオリジナルChatGPTが、各自のローカルPCで動くようになりそうな気がしています。(希望)
ローカルPCでLLMを動かす、Ollamaのインストール方法
ローカルPCでLLMを動かす、Ollamaのインストール方法: (Windows版)
https://note.com/masayuki_abe/n/na6b4fc388fb5
- .exeをダウンロード、インストール:
- コマンドを実行(DOS command-line): 「ollama run llama3.1:8b」
- 「ollama run llama3.1:70b」等でもOK(中規模版)
- コンソール上で質問を入力: 例: 「Why sky is blue?」
- ⇒文章生成OK
- 生成時: CPU 50%～, メモリ使用量 5.6GB～, 生成時間 10s～
感じた特徴
Llama3.1 8B (ローカルPC、Ollama使用):
- PyTorch不使用
- コードなし(バイナリをインストール)
- コマンドラインから利用可
- 遜色ない高速な文章生成
- 通常利用可能なレベルの文章を生成
- GPUなし、CPUのみでも動作可
- 英語での応答が最も良い
- 日本語でも応対は可能
参考記事
記事: 史上最強のオープンソースLLM「Llama 3.1」登場。405B, 70B, 8Bモデル全てを実際に使ってみる方法
https://notai.jp/llama-3-1-405b-70b-8b/
- 2024年7月23日、Metaがオープンソースの大規模言語モデル「Llama 3.1」シリーズをリリース。
- オープンソースモデルが商用モデルに追いついた歴史的瞬間。
- 「Llama 3.1 405B」は、GPT-4oやClaude 3.5 Sonnetなど、OpenAIやAnthropicなどの他社が商用・非公開で開発している主要な最上位モデルたちと、肩を並べる性能を示す。
- 小型軽量な70Bと8Bモデルについては、超高速なAI専用クラウドコンピューティング「Groq Cloud」で無料で利用できる。
Ollama: (モデルのダウンロード元)
https://ollama.com/library/llama3.1:8b
Model evaluations: (Llama3.1 8BはGPT 3.5 Turboと同等レベル)
https://ollama.com/library/llama3.1:8b
詳細な評価を紹介した論文:
https://ai.meta.com/research/publications/the-llama-3-herd-of-models/