この記事の背景
Cline を使いたいけれど LLM は、ローカルLLMを使いたい、特定のプロバイダーのLLMを使う必要があるなんてことがありますね。
そんなときに便利なのが LiteLLM です。LiteLLMは、OpenAIやAnthropic、Google Gemini、Meta Llama、AWS Bedrockなど、さまざまな大規模言語モデル(LLM)APIを統一したインターフェースで利用できるオープンソースのPythonライブラリとプロキシサーバーです。多くのLLM に、OpenAIのAPI形式でアクセスでき、入力と出力を標準化し、APIキーの管理、フェイルオーバー(自動切替)、ロードバランシング、コスト追跡など、便利な機能も充実しています。Cline は、ネイティブでこの LiteLLM に対応していま。素敵!
この記事が解決すること
こんな便利な LiteLLM ですが、使うLLM によってはこんなエラーが出て利用できないことがあります。
stream_options なんて知らない
具体的には、Exception: param stream_options is not supportedなどのメッセージが表示されます。
Cline は、多様なLLMに対応しているといってもやはり開発はOpenAIを中心にしているのだと思いますが、このパラメータを持たないLLMも多くあります。
そこで、この stream_options パラメータを持たない LLM を Cline + LiteLLM で使えるようにする方法をご紹介するのがこの記事の目的です。
解決策
LiteLLM Proxy サーバーの設定ファイル config.yaml の model_list のモデル固有のパラメータ定義に以下の一文を追加します。
drop_params: true
この一行を追加して、LiteLLM Proxy を再起動すれば、Cline から送信された stream_options パラメータは、LiteLLM Proxy でドロップされて LLM には送信されません。
(もちろん、他のパラメータでターゲットの LLM がサポートしていないものも同じです)
それでは、Cline で AI駆動開発をお楽しみください。
あとがき
元々、この問題は、Cline で OCI Generative AI サービスの Grok 4 を使おうとしたときに遭遇したものです。
drop_params: true のおかげで VS Code + Cline + OCI Generative AI + xAI Grok 4 + Oracle Database MCP Server(SQLcl MCP Server)も動くようになりました。このお話しはまた別のブログでご紹介したいと思っています。