[ ローカル LLM ] Open WebUI + ollama for Windows で複数の LLM を切り替えて使ってみた

複数の LLM を切り替えて使ってみたい

前回セットアップした Docker, Conda を使わない環境を使って複数の LLM を設定して Open WebUI で使ってみました
LLM の 登録は ollama からコマンドを打つ方法と Open WebUI の画面を使う方法がありますが今回は Open WebUI を使ってみましょう

ollama の起動と確認

ollama は Windowws が起動したら自動的に起動していますが念のため確認をしますね

ブラウザで http://localhost:11434 にアクセスします

[ Ollama is running ]
の文字が表示されたらOKです。

起動していない場合は接続エラーの画面になります。ollama を起動してみましょう。
ついでに ollama list で登録済みモデルが表示されます。

ollama
ollama serve
ollama list

NAME                 ID              SIZE      MODIFIED
qwen2.5:7b           845dbda0ea48    4.7 GB    2 days ago

Open WebUI の起動と確認

Open WebUI を 起動します。

cd .venv
scripts/activate
open-webui serve --host 0.0.0.0 --port 8080

  ___                    __        __   _     _   _ ___
 / _ \ _ __   ___ _ __   \ \      / /__| |__ | | | |_ _|
| | | | '_ \ / _ \ '_ \   \ \ /\ / / _ \ '_ \| | | || |
| |_| | |_) |  __/ | | |   \ V  V /  __/ |_) | |_| || |
 \___/| .__/ \___|_| |_|    \_/\_/ \___|_.__/ \___/|___|
      |_|
INFO:     Uvicorn running on http://0.0.0.0:8080 (Press CTRL+C to quit)

ブラウザで http://localhost:8080 にアクセスしてログインしましょう。

Open WebUI へのモデルの追加

左下のアイコンから 「設定」-->「 管理者画面」 を表示させて、「モデル」を表示させると「Ollama.com からモデルをプル」という項目があります。

ここにモデルタグを入力するとモデルがダウンロードされて open webui から使えるようになります。すぐに使えるモデルタグは ollama.com で検索して確認できます。

登録の終わったモデルは「モデルを選択」のところから確認できます。

複数のLLMを使ってみましょ

Open WebUI の左側メニューに「ワークスペース」というのがあるのでクリックして開くとモデルごとにプロンプトを入力して使えるようになっています。

Qwen 2.5 さんにあいさつしてみた

granite 3 さんに高い山を聞いてみた

英語の方が精度が高いようですね～

Llama-3-ELYZA-JP-8B-q4 さんにあいさつしてみた

モデルの違いが分かって面白いですね。
それではみなさんも快適な　ローカルLLMライフをお楽しみください！