Linux上でOllama を使った記事はQiita上に沢山見つかりますが、Windows用の Ollama とChrome拡張機能の Ollama-ui を組み合わせた事例が見つからなかったので、本記事を作成しました。
Ollama の概要とダウンロード先
Ollama は、オープンソースの大規模言語モデル（LLM）をローカルPC上で実行できるOSSツールです。
Linux版、Mac版は以前からありましたが、2024年2月15日からWindows版（プレビュー版）が利用できるようになりました。
Windows版は Ollama公式サイト からもダウンロード可能ですが、プレビュー版の専用サイトが用意されており、詳しい情報が記載されているため、こちらを紹介しておきます。
次のインストーラーがダウンロードされるので、実行してください。
OllamaSetup.exe
Ollama-ui の概要とダウンロード先
Ollama はCUIが前提のツールであるため、使い勝手はあまり良くありません。そこでWebアプリとして Ollama を利用できるようにしたのが Ollama-ui です。
Git からダウンロードして使うことも可能ですが、Chrome の拡張機能として用意されているため、普通にChatとして使うにはこちらの方が便利です。
Chrome で下記のURLを開いて拡張機能を追加してください。
Phi3-mini の概要とダウンロード先
Phi3-mini は、2024年4月23日にMicrosoft が発表した 小規模言語モデル(SML)です。
関連記事：小さくても強力: 小規模言語モデル Phi-3 の大きな可能性
パラメータが 38億のPhi-3-mini、70億の Phi-3-small、140億の Phi-3-medium が用意されていますが、2024年4月29日において、Phi3-mini だけがリリースされています。
Phi-3-min のモデルは HuggingfaceのPhi-3-mini-128k-instruct からダウンロード可能ですが、Ollama を実行することで自動でダウンロードされため、手動でダウンロードする必要はありません。
Windows版 Ollama を実行する
Ollama をインストールし、かつChrome に Ollama-ui の拡張機能が追加されている状態で、コマンドプロンプトから次の１行を実行します。
ollama run phi3
初回実行時は phi3 のモデルが自動ダウンロードされ、入力待ちの状態になります。ollama-ui を使うには、ollama が起動している必要があるため、コマンドプロンプトはこのままにしておきます。
Ollama-ui で Phi3 を使ってみる
chrome の拡張機能から ollama-ui を選択すると下記の画面が表示されます。
画面下部に質問を入力し「Send」を押すとPhi3 が回答してくれます。試しに「あなたの名前は？」と質問したら、次の答えが返ってきました。
Ollama で利用できる LLM、SLM
2024年4月において、 Ollama から利用可能なLLM,SLM は次の通りです。
| モデル | パラメータ数 | サイズ | コマンド |
|---|---|---|---|
| Llama 3 | 8B | 4.7GB | ollama run llama3 |
| Llama 3 | 70B | 40GB | ollama run llama3:70b |
| Phi-3 | 3,8B | 2.3GB | ollama run phi3 |
| Mistral | 7B | 4.1GB | ollama run mistral |
| Neural Chat | 7B | 4.1GB | ollama run neural-chat |
| Starling | 7B | 4.1GB | ollama run starling-lm |
| Code Llama | 7B | 3.8GB | ollama run codellama |
| Llama 2 Uncensored | 7B | 3.8GB | ollama run llama2-uncensored |
| LLaVA | 7B | 4.5GB | ollama run llava |
| Gemma | 2B | 1.4GB | ollama run gemma:2b |
| Gemma | 7B | 4.8GB | ollama run gemma:7b |
まとめ
OllamaとOllama-ui を組み合わせれば、オープンソースの大規模言語モデルでも比較的小規模なもの、あるいは小規模言語モデルを、ローカルPC上で簡単に試すことができます。
今までは、LinuxかMacでしか利用できなかった Ollama ですが、2024年2月にようやくWindows に対応してくれました。
LLM、SLM は頻繁にバージョンアップが繰り返されており、また突然新しいモデルが発表されるなど、性能の向上も日進月歩なので、Windowsユーザーも気軽に試していきましょう。