はじめに
最近はRAFTや、Adaptive-RAGのようなチューニングされたモデルを使う手法が多く出てきています。
そのような手法などは今後もたくさん出てくると思いますし、個人的には、自前でチューニングしたモデルをつかうことは一部の界隈(あいまい)では主流になると思っています。
今回はDifyでもファインチューニングしたモデルを使うにはどうすればいいか？に関して書きます。
基本的な流れは
ファインチューニング → GGUFに変換 → Ollamaで動くようにする → Difyで動くようにする。
です。
ではいきましょう。
ファインチューニング
ファインチューニングに関してはこちらの記事を読んでファインチューニングしてください。
すでに使いたいモデルがある人は次に進んでください。
ファインチューニングしたモデルをGGUFに変換しよう。
ファインチューニングしたやつをGGUFに変換して使用します。
GGUF変換はこちらの記事に沿ってやってみてください。
すでに使いたいモデルのGGUF形式を持っている人は次に進んでください。
ファインチューニングしたモデルをOllamaで動くようにしよう！
mkdir ollama_model
GGUF形式をHuggingFaceからダウンロードしollama_modelに格納しておきます。
そしてollama_modelでModelfileを作成します。中身は以下です。
Modelfile
FROM ./your_model.gguf
そしてOllamaでモデルを使えるようにします。
ollama create your_model_name -f Modelfile
これでOllamaでファインチューニングしたモデルが使えるようになります。
OllamaをDifyと連携しよう！
Difyとの連携を書いた記事があるのでそちらを参照してください。
今回は以下のような設定になります。
Difyを動かしてみよう
最後に実際に動くか確認してみましょう。
動きはしますね。ただファインチューニングしたLLMから出力される内容が変ですね...
最後に
Xやってるので気になる方はフォローお願いします。