Windows版 Ollama と Ollama-ui を使ってPhi3-mini を試してみた #Windows,Ollama,Ollama-ui

Linux上でOllama を使った記事はQiita上に沢山見つかりますが、Windows用の Ollama とChrome拡張機能の Ollama-ui を組み合わせた事例が見つからなかったので、本記事を作成しました。

Ollama の概要とダウンロード先

Ollama は、オープンソースの大規模言語モデル（LLM）をローカルPC上で実行できるOSSツールです。
Linux版、Mac版は以前からありましたが、2024年2月15日からWindows版（プレビュー版）が利用できるようになりました。

Windows版は Ollama公式サイトからもダウンロード可能ですが、プレビュー版の専用サイトが用意されており、詳しい情報が記載されているため、こちらを紹介しておきます。

次のインストーラーがダウンロードされるので、実行してください。

OllamaSetup.exe

Ollama はCUIが前提のツールであるため、使い勝手はあまり良くありません。そこでWebアプリとして Ollama を利用できるようにしたのが Ollama-ui です。

Git からダウンロードして使うことも可能ですが、Chrome の拡張機能として用意されているため、普通にChatとして使うにはこちらの方が便利です。

Chrome で下記のURLを開いて拡張機能を追加してください。

Phi3-mini は、2024年4月23日にMicrosoft が発表した小規模言語モデル(SML)です。

パラメータが 38億のPhi-3-mini、70億の Phi-3-small、140億の Phi-3-medium が用意されていますが、2024年4月29日において、Phi3-mini だけがリリースされています。

Phi-3-min のモデルは　HuggingfaceのPhi-3-mini-128k-instruct　からダウンロード可能ですが、Ollama を実行することで自動でダウンロードされため、手動でダウンロードする必要はありません。

Ollama をインストールし、かつChrome に Ollama-ui の拡張機能が追加されている状態で、コマンドプロンプトから次の１行を実行します。

ollama run phi3

初回実行時は phi3 のモデルが自動ダウンロードされ、入力待ちの状態になります。ollama-ui を使うには、ollama が起動している必要があるため、コマンドプロンプトはこのままにしておきます。

chrome の拡張機能から ollama-ui を選択すると下記の画面が表示されます。

画面下部に質問を入力し「Send」を押すとPhi3 が回答してくれます。試しに「あなたの名前は？」と質問したら、次の答えが返ってきました。

2024年4月において、 Ollama から利用可能なLLM,SLM は次の通りです。

モデル	パラメータ数	サイズ	コマンド
Llama 3	8B	4.7GB	ollama run llama3
Llama 3	70B	40GB	ollama run llama3:70b
Phi-3	3,8B	2.3GB	ollama run phi3
Mistral	7B	4.1GB	ollama run mistral
Neural Chat	7B	4.1GB	ollama run neural-chat
Starling	7B	4.1GB	ollama run starling-lm
Code Llama	7B	3.8GB	ollama run codellama
Llama 2 Uncensored	7B	3.8GB	ollama run llama2-uncensored
LLaVA	7B	4.5GB	ollama run llava
Gemma	2B	1.4GB	ollama run gemma:2b
Gemma	7B	4.8GB	ollama run gemma:7b

OllamaとOllama-ui を組み合わせれば、オープンソースの大規模言語モデルでも比較的小規模なもの、あるいは小規模言語モデルを、ローカルPC上で簡単に試すことができます。

今までは、LinuxかMacでしか利用できなかった Ollama ですが、2024年2月にようやくWindows に対応してくれました。

LLM、SLM は頻繁にバージョンアップが繰り返されており、また突然新しいモデルが発表されるなど、性能の向上も日進月歩なので、Windowsユーザーも気軽に試していきましょう。