0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

DifyからHugging Face経由でgpt-ossを触るメモ

Posted at

gpt-ossローカルでだったりHugging FaceのAPIで触ったりしてみたのでDifyでもいけそうですね。

8/9実施のDifyのハンズオンで利用してみようかと思いDifyでも試してみたメモです。

Hugging Face のモデルプロバイダーは動かず。。。

gpt-ossは手元で試せるスペックの人はOllamaなどで試しつつ、ライトに試す場合はHugging FaceのAPIでためせます。

Difyには公式でHugging Faceのプロバイダーがありますが、gpt-ossは対応してないよーみたいなアラート

どこかの設定問題だったかもしれないし、当日すぐ試したからってのもあるかも

image.png

Hugging FaceのAPI(Inference Providers)でOpenAI互換プロバイダーで動いた

Hugging FaceのInference ProvidersだとOpenAI互換のAPIとして使えるので、DifyのモデルプロバイダーでOpenAI-API-compatibleを選んで利用できます。

  • Model Type: LLM
  • Model Name: openai/gpt-oss-20b (もしくはgpt-oss-120b)
  • APIキー: Hugging FaceのAPIキー
    = API Endpoint URL: https://router.huggingface.co/v1

CleanShot 2025-08-07 at 11.21.44.png

CleanShot 2025-08-07 at 11.21.58.png

この設定でうまくいきました。

チャットフローなどで試せば動作します。

まとめ

Azure AI Foundryとかでも思いますが、パスが絶妙に違うとエラーになるのでちょっと困りましたが、

image.png

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?