1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

ローカル環境のDify v1.0.0以降で,Ollamaで動かしているLLMの設定方法が変わっていたので修正した

Last updated at Posted at 2025-03-17

概要

なにが起きた?

  • ローカルで利用しているDifyの(おそらく)バージョン1.0.0以降でOllamaの一部のモデル(LLM)が利用できなくなっていたので対処した。

どうやって直した?

  • Difyが参照できるようにLLMのmanifestファイルの場所を変更した。

状況

  • Windows 11 (+ WSL2)で,Dockerを使ってローカルでDifyを利用している。
  • Ollamaを使ってローカルでLLMを動かして,Difyのアプリに組み込んでいる。
  • Dify v1.0.0以降,Ollama公式で用意しているモデル(gemma3, nomic-embed-text など)は使えるが,HuggingFaceからなど別の手段で導入したモデル(sarashina2.2-3b など)を,Difyの「モデルプロバイダー」画面で「モデルを追加」すると,「変更が正常に行われました」と表示されるが,実際は反映されず利用できなくなっていた。

やったこと

  1. Gemma3などOllama公式サイトから導入したモデルを見ると,manifestファイルが以下に格納されていた。..\.ollama\models\manifests\registry.ollama.ai\library\
  2. それ以外の,HuggingFaceなどから導入したモデルのmanifestファイルは,これとは異なるディレクトリに存在していた。 例:..\.ollama\models\manifests\hf.co\..
  3. Difyが認識しないモデルのmanifestファイル(フォルダ)を,1.の ..\registry.ollama.ai\library\ の下に置いたところ,Difyに問題なくモデルが認識され,利用できるようになった。 例:..\.ollama\models\manifests\registry.ollama.ai\library\sarashina2.2-3b-instruct-v0.1-gguf\Q4_K_M

おまけ

  • manifestファイルをコピーして別フォルダに置くと,ollama list の際に両方ヒットしてしまう。ので,気になる場合は元の方を削除するなどする。(自己責任)
  • DifyでのOllamaのモデルの設定は以下。
    • Model Name : library以下のフォルダ名:manifestファイル名 ※latestの場合は指定不要
      • 例:sarashina2.2-3b-instruct-v0.1-gguf:Q4_K_M
    • BASE URL : http://host.docker.internal:11434
1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?