前提
wsl上でDockerが動作し、ollamaとopen-webuiがインストール済みであること
- Windows 11
- Ubuntu 22.04
- DockerはLinux版 version 27.0.2, build 912c1dd
- ollamaとopen-webuiはこちらを参考に入れてあること
- ollama version 0.1.48
Docker上で動くollamaのコンテナIDを特定する
$ docker container ps
で出てくるコンテナIDを使う
$ docker container exec -it <コンテナID> bash
でDockerの中に入る
Docker内でELYZAのモデルファイルを取得する
リンク先のggufファイルをwgetか何かでダウンロードしてくる
モデルファイルを作成する
ダウンロードしてきたggufファイルと同じディレクトリで以下の内容のModelfileを作成する
FROM ./Llama-3-ELYZA-JP-8B-q4_k_m.gguf
TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>
{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>
{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>
{{ .Response }}<|eot_id|>"""
PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"
PARAMETER stop "<|reserved_special_token"
モデルを生成する
#ollama create elyza:jp8b -f Modelfile
動作テスト
#ollama run elyza:jp8b
プロンプトが出てくれば勝利。/byeで抜けて大丈夫。
ここまでやればDockerを抜けて、open-webuiをリロードし、ELYZAモデルが追加されているはず。
参考