gpt-ossローカルでだったりHugging FaceのAPIで触ったりしてみたのでDifyでもいけそうですね。
8/9実施のDifyのハンズオンで利用してみようかと思いDifyでも試してみたメモです。
Hugging Face のモデルプロバイダーは動かず。。。
gpt-ossは手元で試せるスペックの人はOllamaなどで試しつつ、ライトに試す場合はHugging FaceのAPIでためせます。
Difyには公式でHugging Faceのプロバイダーがありますが、gpt-ossは対応してないよーみたいなアラート
どこかの設定問題だったかもしれないし、当日すぐ試したからってのもあるかも
Hugging FaceのAPI(Inference Providers)でOpenAI互換プロバイダーで動いた
Hugging FaceのInference ProvidersだとOpenAI互換のAPIとして使えるので、DifyのモデルプロバイダーでOpenAI-API-compatible
を選んで利用できます。
- Model Type: LLM
- Model Name: openai/gpt-oss-20b (もしくはgpt-oss-120b)
- APIキー: Hugging FaceのAPIキー
= API Endpoint URL: https://router.huggingface.co/v1
この設定でうまくいきました。
チャットフローなどで試せば動作します。
まとめ
Azure AI Foundryとかでも思いますが、パスが絶妙に違うとエラーになるのでちょっと困りましたが、