2
2

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Cline から LiteLLM Proxy 経由で LLM 呼んだら stream_options なんて知らないと言われた人へ

Posted at

この記事の背景

Cline を使いたいけれど LLM は、ローカルLLMを使いたい、特定のプロバイダーのLLMを使う必要があるなんてことがありますね。
そんなときに便利なのが LiteLLM です。LiteLLMは、OpenAIやAnthropic、Google Gemini、Meta Llama、AWS Bedrockなど、さまざまな大規模言語モデル(LLM)APIを統一したインターフェースで利用できるオープンソースのPythonライブラリとプロキシサーバーです。多くのLLM に、OpenAIのAPI形式でアクセスでき、入力と出力を標準化し、APIキーの管理、フェイルオーバー(自動切替)、ロードバランシング、コスト追跡など、便利な機能も充実しています。Cline は、ネイティブでこの LiteLLM に対応していま。素敵!

この記事が解決すること

こんな便利な LiteLLM ですが、使うLLM によってはこんなエラーが出て利用できないことがあります。

stream_options なんて知らない

具体的には、Exception: param stream_options is not supportedなどのメッセージが表示されます。

Cline は、多様なLLMに対応しているといってもやはり開発はOpenAIを中心にしているのだと思いますが、このパラメータを持たないLLMも多くあります。

そこで、この stream_options パラメータを持たない LLM を Cline + LiteLLM で使えるようにする方法をご紹介するのがこの記事の目的です。

解決策

LiteLLM Proxy サーバーの設定ファイル config.yaml の model_list のモデル固有のパラメータ定義に以下の一文を追加します。

drop_params: true

この一行を追加して、LiteLLM Proxy を再起動すれば、Cline から送信された stream_options パラメータは、LiteLLM Proxy でドロップされて LLM には送信されません。
(もちろん、他のパラメータでターゲットの LLM がサポートしていないものも同じです)

それでは、Cline で AI駆動開発をお楽しみください。

あとがき

元々、この問題は、Cline で OCI Generative AI サービスの Grok 4 を使おうとしたときに遭遇したものです。
drop_params: true のおかげで VS Code + Cline + OCI Generative AI + xAI Grok 4 + Oracle Database MCP Server(SQLcl MCP Server)も動くようになりました。このお話しはまた別のブログでご紹介したいと思っています。

2
2
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
2
2

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?