Ollama でやれる事

Ollama を利用すると、「Meta Llama 3」や「Microsoft Phi-3」などオープンモデルのLLMをローカルPCで実行させる事ができる。
ライセンスはMIT。

GPUは、nVIDIA, AMD, Metal(AppleMX) をサポートしている。

実行環境

ここでは、以下のスペックで実行環境を構築している。

項目	容量
CPU	Core i9-9900K
RAM	64GB
GPU	nVIDIA VRAM 11GB
OS	Windows 11 Pro

Windowsの設定

固定IPの設定

内部ネットワークで利用可能な固定IPを用意する。
このドキュメントでは、以下の固定IPで構築しているので、個々の環境に適宜変更する必要がある。

固定IP
172.16.11.68

「設定」を立ち上げる
「ネットワークとインターネット」→「イーサネット」
(1) 「認証設定」→「IEEE 802.1X」を必要なら変える
(2) 「IP 割り当て」の右にある「編集」ボタンを押す
「IP 設定の編集」を「手動」を選択→「IPv4」をON
「IP アドレス」、「サブネットマスク」、「ゲートウェイ」、「優先 DNS」を設定して、保存する

スリープをOFF

「設定」→「システム」→「電源」
「画面とスリープ」
- 「電源接続時に、次の時間が経過した後に画面の電源を切る」→「5分」
- 「電源接続時に、次の時間が経過した後にデバイスをスリープ状態にする」→「なし」

スクリーンセーバーをOFF

「設定」→「個人用設定」→「ロック画面」
「関連設定」→「スクリーンセーバー」から、スクリーンセーバーをOFFにする

Ollama をインストール

環境変数の設定

「設定」→「システム」→「バージョン情報」
「システムの詳細設定」をクリックすると、「システムのプロパティ」ダイアログが出る
「環境変数」ボタンを押す
「ユーザーの環境変数」に、以下を追加する

キー	値
OLLAMA_HOST	0.0.0.0

Ollama をインストールする

公式から、今回は Windows (Preview)をダウンロード
https://ollama.com/download/windows
2024年5月時点でプレビューだが、一通りの機能は動作する

インストール後、常駐されているのを確認

Model の登録

PowerShell を立ち上げ、Model をダウンロードする。
下記は、マイクロソフトのphi3、MetaのLlama3、Googleのcodegemma、中国のスタートアップ企業のdeepseek-coderを入れている。
deepseek-coderは、コンパクトで優れたコード生成AI。

ollama pull codegemma
ollama pull deepseek-coder:6.7b
ollama pull llama3
ollama pull phi3

Model が入っているか確認する

ollama list

NAME                    ID              SIZE    MODIFIED
codegemma:latest        0c96700aaada    5.0 GB  30 minutes ago
deepseek-coder:6.7b     ce298d984115    3.8 GB  10 seconds ago
llama3:latest           a6990ed6be41    4.7 GB  13 days ago
phi3:latest             a2c89ceaed85    2.3 GB  2 weeks ago

動作確認

PowerShell から下記のコマンドを打ち、Ollamaに「何故、空が青いのか」という質問をする

(Invoke-WebRequest -method POST -Body '{"model":"phi3:latest", "prompt":"Why is the sky blue?", "stream": false}' -uri http://172.16.11.68:11434/api/generate ).Content | ConvertFrom-json

下記の様に返答があれば成功

model                : phi3:latest
created_at           : 2024-04-26T12:04:04.187699Z
response             : The sky appears blue to us because of a phenomenon called Rayleigh scattering. As sunlight travels thro
                       ugh Earth's atmosphere, it encounters molecules and small particles that are much smaller than its wave
                       length. Blue light (with shorter wavelengths) is scattered in all directions by these atmospheric parti
                       cles more so than other colors like red or yellow because it travels as shorter, smaller waves. This sc
                       attering causes the sky to look blue during the day. However, at sunrise and sunset, the sky often appe
                       ars red or orange due to the longer path of light through the atmosphere, which scatters out more of th
                       e blue wavelengths and allows the longer-wavelength colors to become more visible.
done                 : True
context              : {32010, 13, 11008, 338...}
total_duration       : 4422070600
load_duration        : 2952131000
prompt_eval_count    : 13
prompt_eval_duration : 33038000
eval_count           : 157
eval_duration        : 1435623000

ポートを開ける

内部ネットワークで公開するため、Ollama が利用しているポート 11434 を開ける
PowerShellを「管理者として実行」で立ち上げる

New-NetFireWallRule -DisplayName 'Ollama' -Direction Inbound -LocalPort 11434 -Action Allow -Protocol TCP
New-NetFireWallRule -DisplayName 'Ollama' -Direction Outbound -LocalPort 11434 -Action Allow -Protocol TCP

別のPCから動作確認

WebRequestを投げられるか確認する

(Invoke-WebRequest -method POST -Body '{"model":"phi3:latest", "prompt":"Why is the sky blue?", "stream": false}' -uri http://172.16.11.68:11434/api/generate ).Content | ConvertFrom-json

下記の様に返答があれば成功

model                : phi3:latest
created_at           : 2024-04-26T14:44:09.428212Z
response             :  The sky appears blue to the human eye because of a phenomenon called Rayleigh scattering. As sunlight
                       travels through Earth's atmosphere, it interacts with molecules like nitrogen and oxygen. These interac
                       tions cause the light to scatter in all directions. However, shorter wavelengths (blue light) scatter m
                       ore than longer wavelengths (such as red or yellow). This scattered blue light is what we see when we l
                       ook up at the sky.
done                 : True
context              : {32010, 13, 11008, 338...}
total_duration       : 1574321700
load_duration        : 52432600
prompt_eval_duration : 137014000
eval_count           : 99
eval_duration        : 1383368000