はじめに
IBM Power 上で稼働する Open WebUI とollama のコンテナで LLM(Large Language Model) を動かすブログを拝見して試してみました。
環境
・HW: Power10 (E1080)
CPU 2 Core, Memory 64GB
・OS: RedHat 9.4
Podman
・SW:
- ollama (コンテナ・イメージ)
- Open WebUI (コンテナ・イメージ)
設定
ブログの記事に沿って手順を実施します。
(1) podmanネットワーク作成
[root@isyd05-1g-leaf3-a03 ~]# podman network create ollama-webui
ollama-webui
確認
[root@isyd05-1g-leaf3-a03 ~]# podman network ls
NETWORK ID NAME DRIVER
f96480c671b1 ollama-webui bridge
2f259bab93aa podman bridge
[root@isyd05-1g-leaf3-a03 ~]#
(2) ollama コンテナの起動
[root@isyd05-1g-leaf3-a03 ~]# podman run -d --rm --network ollama-webui -v ollama:/root/.ollama -p 11434:11434 --name ollama quay.io/mgiessing/ollama:v0.5.12
Trying to pull quay.io/mgiessing/ollama:v0.5.12...
Getting image source signatures
Copying blob a73fe7d33f1e done |
Copying blob 970d14e3dfd5 done |
Copying blob 2c6e69701b3e done |
Copying blob 0ea07940710b done |
Copying config 27431b6dc7 done |
Writing manifest to image destination
ad58f4fc401e26f0728cb471026758998774a4d3ce4a7886fb31555e3f9e7990
[root@isyd05-1g-leaf3-a03 ~]#
(3) ollama-webui コンテナの起動
環境のネットワーク制約により、6443 ポートで公開しています。
[root@isyd05-1g-leaf3-a03 ~]# podman run -d --rm --network ollama-webui -p 6443:8080 -e OLLAMA_BASE_URL=http://ollama:11434 -e WEBUI_SECRET_KEY="" -v open-webui:/app/backend/data quay.io/mgiessing/open-webui:v0.5.12
Trying to pull quay.io/mgiessing/open-webui:v0.5.12...
Getting image source signatures
Copying blob e987599e381a done |
Copying blob ac90ba5d4f77 done |
Copying blob 5e1e9403c170 done |
Copying blob c8eceb99bcf0 done |
Copying blob 306cce4a4fa2 done |
Copying blob acbe9878ec54 done |
Copying blob 7a0ef30f5a12 done |
Copying blob 4f4fb700ef54 done |
Copying blob fc32d70f6feb done |
Copying blob d35876c51cc4 done |
Copying blob 490a96189311 done |
Copying blob 4d707aedf845 done |
Copying blob 42fce7db9682 done |
Copying blob 519059029640 done |
Copying blob 98af02a97c4f done |
Copying config 15e286b484 done |
Writing manifest to image destination
483c7dacfa28276d2933881c7493e814c61372622dea715839ca17917ba8d4be
[root@isyd05-1g-leaf3-a03 ~]#
確認
[root@isyd05-1g-leaf3-a03 ~]# podman ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
ad58f4fc401e quay.io/mgiessing/ollama:v0.5.12 serve 2 minutes ago Up 2 minutes 0.0.0.0:11434->11434/tcp ollama
483c7dacfa28 quay.io/mgiessing/open-webui:v0.5.12 bash start.sh About a minute ago Up 55 seconds 0.0.0.0:6443->8080/tcp infallible_kilby
pod が2つ稼働しています。
稼働確認
http://"server IP":6443 にWebブラウザでアクセスします。
画面の表示が出ていました。
Open WebUI の仕様かもしれませんが、背景にはうっすらと「アダムの創造」が見えます。
二枚目の背景に何かありますがはっきりとは見えません
-> Open WebUI のGit repository より宇宙の写真 ではないかとコメントで教えていただきました。
三枚目は宇宙飛行士
Get Started を押します
アカウント作成画面に移動。Create Admin account で適当に入力し、アカウントを作成します。
ログインできました。
"OK、始めましょう!" を押します。
特に指定しませんでしたが日本語で出てきています。ブラウザの言語を見ているのかもしれません。
よく見かけるような AI チャット画面に移動しました
モデルは導入時点では2つです。コンテナの中に配置したものと思います。
Open WebUI仕様のため、画像、ファイルアップロードも可能のようです。
音声入出力も可能のようです。
さっそく質問してみます。
「あなたは誰ですか？」
書き始めの反応が少々遅めです。考えているのかそれともリソースの問題でしょうか。
別のことも聞いてみます。
これは、、、ある意味、AIとの人間の感覚の違いを楽しむ遊びかもしれません。
モデルの追加(granite3.2:2b)
デフォルトにあるモデル以外を設定できるかを試します。
ollama pod にログイン
[root@isyd05-1g-leaf3-a03 ~]# podman exec -it ollama /bin/bash
[root@ad58f4fc401e /]#
モデルを確認すると、granite3.1-dense:8b のみが存在しています。
[root@ad58f4fc401e /]# ollama list
NAME ID SIZE MODIFIED
granite3.1-dense:8b 86ac4cf0cb84 4.9 GB 2 months ago
先日リリースされた新しいgraniteモデルをollama library からダウンロードします。
[root@ad58f4fc401e /]# ollama pull granite3.2:2b
pulling manifest
pulling 36c09b22ee39... 100% ▕████████████████████████████████████▏ 1.5 GB
pulling 3e7ca51acd6e... 100% ▕████████████████████████████████████▏ 6.0 KB
pulling 2e68075caee4... 100% ▕████████████████████████████████████▏ 11 KB
pulling 2b0d9e8b9a18... 100% ▕████████████████████████████████████▏ 417 B
verifying sha256 digest
writing manifest
success
[root@ad58f4fc401e /]#
Open WebUI 側の画面をリフレッシュ
granite3.2:2b がモデルの選択肢に加わりました!
稼働確認します。 数秒考えて書き出してくれました。
軽量の granite3.2:2b モデルのため先程の granite3.1:8b モデルより速く動いています。
違うことも聞いてみます。(先ほどと同じ質問)
granite3.1-dense:8b モデルより日本語が正しくないようですが、これは granite3.2:2b 軽量モデルの方は品質が低くなるためと思います。
簡単な早い処理であれば軽量モデルが良いですが、複雑な回答を得たいときは重めモデルが良いようですね。
おわりに
少々脱線しましたが、IBM Power10 上で Open WebUI を使用した ollama 稼働を確認しました。
簡易にPower上で稼働できるWebインターフェースが稼働するコンテナ・イメージ が準備できています。
ご参考
以上です。