はじめに

DeepSeek-R1とは

オープンソースの大規模言語モデル（LLM）です。
最新のDeepSeek-R1はOpenAI（Chat GPT）の「o1」と同等程度の性能だそうです。
要するにChat GPTみたいなやつですね。

今回はプライバシー関連で問題視されている、DeepSeek運営の「DeepSeek - AI アシスタント」ではなく、ローカルPCでDeepSeek-R1を起動して対話していきます。

賛否両論あるDeepSeekですが、オープンソースであることは素晴らしいと思います。

deepseek-ai/DeepSeek-R1 - Github
DeepSeek - Wikipedia

DeepSeek-R1との対話で使うOllamaとは

インターネット接続しなくてもオープンソースのAIモデルと対話できるソフトウェアです。
無料でChatGPTのようなAIを使いたい場合や、プライバシー、情報漏洩への対策が必要な環境に適しています。

AIモデルのダウンロードと対話インターフェイスの提供
冒頭の画像にある通りollama run ～～～で、AIモデルのダウンロード、対話を行うことができます。
本来はAIモデルをダウンロードし、起動及び対話のためにコードを書く必要があります。
　
AIモデルの管理
DeepSeek以外にも、色々なモデルを切り替えて使用可能です。

Llama 3.1 Swallow（MetaのLlama 3.1ベースの日本語強化版）

Gemma 2 jpn（GoogleのGemma 2ベースの日本語強化版）

LLM-jp（国立情報学研究所のLLM。他のLLMベースではなくゼロから作っているそうです。）

　などなど

AIモデルのチューニング
Model Fileという設定ファイルを書くことで精度を上げるなどが可能です。
モデルによっては書くことが必須な場合もあります。
今回は解説を割愛します。
Model Fileについてのドキュメント

今回はOllamaを使いましたが、LMstudioもグラフィカルで良さそうです。

注意点

Ollamaでの利用にあたり、AIモデルのライセンスを必ずご確認ください。
商用利用禁止、研究目的での利用に制限されているなどの場合があります。

今回使うDeepSeek-R1は、商用利用や改変が可能なMITライセンスとなっています。

セットアップにあたって

所要時間

1時間～
ご利用になるモデルによりますが、DeepSeek-R1やソフトウェアのダウンロードに時間がかかります。

コマンドプロンプトやPowerShellの起動方法

スーパーハッカーになれるやつです。
WindowsキーとRを押して、cmdやPowerShellと入力し、Enter

コピー&ペーストするときは、右クリックするだけでできます。

インストールが成功したかの確認について

失敗と嘆く前にコマンドプロンプトを再起動してください。
それでもだめならPC再起動

コマンドプロンプトで確認

ollama --version

#インストールが失敗している場合
'ollama' は、内部コマンドまたは外部コマンド、
操作可能なプログラムまたはバッチ ファイルとして認識されていません。

1. 必要な環境を揃える

まずはお使いのPC環境を確認

CtrlとShiftとEscを押して、タスクマネージャーを起動

NVIDIAと表示されている場合
追加でソフトをインストールして処理を高速化しましょう。

Ollama

Ollamaインストーラをダウンロード
表示に従ってインストールしてください。

確認

コマンドプロンプトで確認

ollama --version

#成功
# ollama version is バージョンナンバー

（NVIDIA表示あり） Build Tools for Visual Studio 2022

Build Tools for Visual Studio 2022インストーラをダウンロード
表示に従ってインストールしてください。

Build Tools for Visual Studio 2022を起動し、「c++によるデスクトップ開発」を選択してインストールしてください。

（NVIDIA表示あり） GPUドライバ (Nvidia APP経由)

Nvidia APPインストーラをダウンロード

表示に従ってインストールしてください。
エクスプレスインストールがおすすめです。

NVIDIA APPを起動すると色々聞かれるかと思いますが、画面に従っていただいて大丈夫です。
アカウント登録は飛ばしてください。

Game Ready ドライバー もしくは Studio ドライバーをインストールしてください。

Game Ready ドライバー : 主な用途がゲームなどのホビー向け
Studio ドライバー : 主な用途が動画編集、3D、画像編集などのクリエイション向け

こちらも同様にエクスプレスインストールがおすすめです。

確認

コマンドプロンプトで確認

nvidia-smi

#成功
Driver Version: バージョンナンバー　その他いろいろ

CUDA Versionは対応している最新のCUDAを指しており、
CUDAがインストールされていなくても表示されます。

（NVIDIA表示あり） CUDA

表示に従ってインストールしてください。

コマンドプロンプトで確認

nvcc -V

#成功
nvcc: NVIDIA (R) Cuda compiler driver その他いろいろ

（NVIDIA表示あり） NVIDIA cuDNN

NVIDIA cuDNNインストーラをダウンロード
表示に従ってインストールしてください。

Python（※ 無くても使えます）

Pythonインストーラをダウンロード

Add python.exe to PATHにチェックを付け、あとは表示に従ってインストールしてください。

PowerShellでスクリプトの実行を許可

PowerShellで実行　1度行えばOK

Set-ExecutionPolicy RemoteSigned -Scope CurrentUser -Force

確認

コマンドプロンプトで確認

python --version
pip --version

#成功
Python バージョンナンバー
pip バージョンナンバー from ...

2. DeepSeek-R1のダウンロードと起動

ollama run ～～～で起動します。
まずはモデルをダウンロードするため、気長にお待ちください。
ダウンロードを中断しても大丈夫です。
再度同じコマンドの実行で再開できます。

各コマンドを見ていただくと◯bと付いているのに気づくと思います。（例:deepseek-r1:1.5b）
bとはBillion（十億）の略で、それが持つパラメータの数になります。
パラメータ数が多いほど、賢く、そして要求されるPC性能が上がります。

PC性能以上のモデルを選ぶと最悪パソコンが固まりますが、再起動すれば解決するので色々試してみるのが良いと思います。

各モデルの要求PC性能参考
https://ollama.com/library/deepseek-r1/tags
https://apxml.com/posts/gpu-requirements-deepseek-r1

コマンドプロンプトどれか1行をお試しください。

#一般的なノートPC向け 日本語での運用は厳しい？
ollama run deepseek-r1:1.5b-qwen-distill-q4_K_M

#そこそこのPC向け
ollama run hf.co/mmnga/lightblue-DeepSeek-R1-Distill-Qwen-7B-Japanese-gguf:Q4_K_M

# ビデオメモリ10GB程度あるPC向け
ollama run hf.co/mmnga/cyberagent-DeepSeek-R1-Distill-Qwen-14B-Japanese-gguf
# 32Bに挑戦してみたい人向け
ollama run hf.co/mmnga/cyberagent-DeepSeek-R1-Distill-Qwen-32B-Japanese-gguf:IQ4_XS

# RTX4090 またはメモリが豊富なPC向け Q4_K_MやQ5_K_M
ollama run hf.co/mmnga/cyberagent-DeepSeek-R1-Distill-Qwen-32B-Japanese-gguf:Q4_K_M

# 富豪向け
ollama run hf.co/mmnga/cyberagent-DeepSeek-R1-Distill-Qwen-32B-Japanese-gguf:Q8_0
ollama run deepseek-r1:70b
ollama run deepseek-r1:671b

7Bは、Lightblue社様がDeepSeekに日本語を追加学習し、mmnga様によってGGUFにしていただいたモデルです。

mmnga/lightblue-DeepSeek-R1-Distill-Qwen-7B-Japanese-gguf · Hugging Face

14Bと32Bは、cyberagent社様がDeepSeekに日本語を追加学習し、mmnga様によってGGUFにしていただいたモデルです。

GGUFについて知りたい方はこちらのサイトをご参照ください。

お疲れ様でした。

参考記事