ClineでBedrockのLlamaを使う

はじめに

最近話題のClineですが、Bedrockも使用できるものの、使用できるモデルがClaude,Nova,DeepSeekになっています。(2025/3時点)
コストが安いLllamaも使いたいため、LiteLLM Proxyを介して使えるようにしました。

LiteLLM Proxyとは

LiteLLM Proxyは、Bedrockなどの様々なLLMを同じインターフェースで使用可能にしてくれるツールです。100種類以上のLLMに対応しています。

ClineはLiteLLMに対応しているため、ClineのAPI Providerの選択肢にないLLMを使いたい場合はLiteLLMでラップして使うことができます。

LiteLLMの準備

pipでLiteLLM[proxy]をインストールします。

pip install LiteLLM[proxy]

つぎに、config.yamlを作成します。model_nameは任意の名前です。

model_list:
  - model_name: llama3-1-70b
    litellm_params:
      model: bedrock/us.meta.llama3-3-70b-instruct-v1:0
      aws_region_name: {region}
      aws_access_key_id: {access_key_id}
      aws_secret_access_key: {access_key}
      aws_session_token: {session_token}
      input_cost_per_token: 0.00000072
      output_cost_per_token: 0.00000072

LiteLLM proxyを起動します

litellm --config ./config.yaml

これでhttp://0.0.0.0:4000にサーバーが立ちます。準備完了です。

Clineの設定

API ProviderにはLiteLLMを選択します。
BaseURLには起動したサーバーのアドレス、ModelIDにはconfig.yamlで設定した任意の名前を設定します。

完了

これでBedrockのLlamaを使えるようになりました。

API Costはずっと$0.000のままになっています。おそらく不具合です。