DifyとHugging Faceの`meta-llama/Meta-Llama-3.1-8B-Instruct`モデル連携のエラー
Q&A
Closed
※本QAは他サイト(teratail)でマルチポストしております。
他のサイトで回答やヒントなどの情報が得られた場合、自己回答で情報共有させていただきます。
解決したいこと
ノーコードツールのDifyとHugging Faceのmeta-llama/Meta-Llama-3.1-8B-Instructモデルを連携させたいと考えています。
前モデルのmeta-llama/Meta-Llama-3-8B-Instructとの連携は問題がないのですが、Llama3.1の場合後述のエラーメッセージが表示され、連携がされません。
ご知見がある方、解決方法をご教授いただけないでしょうか。
発生している問題・エラー
Only available for models running on with the `text-generation-inference`. To learn more about the TGI project, please refer to https://github.com/huggingface/text-generation-inference.
自分で試したこと
このモデルがtext-generation-inferenceでないというエラーかと推測しましたが、前モデル同様text-generation-inferenceの記載があることを確認しております。
0
