ollamaでhugginfaceで公開されているggufの実行

背景: lmstudioがguiを起動した後じゃないとlmsがfailするので、、、またollamaに戻ってきた・・・

ollama run hf.co/username/model-nameでよいらしい

のように

ollama run hf.co/unsloth/gemma-3-4b-it-GGUF

tips-1 : alias

ollama cp hf.co/unsloth/gemma-3-4b-it-GGUF default

みたいにすれば、aliasを作れる

tips-2 : set parameter

ollama run default
/set parameter
/set parameter num_ctx 38768
/save default

のようにパラメーターを変更し、保存できる。

tips-3 : allow from external IPs

See https://github.com/ollama/ollama/blob/main/envconfig/config.go#L239

/etc/systemd/system/ollama.service

Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_ORIGINS=192.168.*,172.*"

sudo systemctl daemon-reload
sudo systemctl restart ollama
sudo ufw allow 11434

ufw忘れずに

なお初回installは以下

curl -fsSL https://ollama.com/install.sh | sh

sudo snap install ollama で入れたollamaは古いので、上がよい。

sudo snap remove ollamaで削除を...