LiteLLM 最近の更新まとめ

概要

LiteLLMは複数のLLMプロバイダーに対して統一されたインターフェースを提供するPythonライブラリであり、API呼び出しを標準化・簡素化することでLLM開発を容易にします。最近のリリースでは、API互換性の強化、パフォーマンス最適化、信頼性向上のための多くの機能が追加されています。

主なハイライト：

• Vertex AI、Gemini、Anthropicなど主要プロバイダーのサポート機能拡張
• DBデッドロック削減とRedisを活用した信頼性向上
• 画像生成・音声入力などマルチモーダル機能の拡充
• チーム管理・認証周りの機能改善

以下、最新リリースから順に主な変更点をまとめます。

v1.65.4-stable（最新安定版）

最新の安定版リリースでは、多くの機能追加と修正が行われました。主な変更点は以下の通りです：

主な新機能

• Vertex AIトランスフォーメーションにnullフィールドを持つanyOf共用体タイプのサポートを追加
• Bedrockのレイテンシーに最適化された推論サポートとVertex AI マルチモーダル埋め込みコスト追跡を追加
• Gemini音声入力サポートとSagemakerレスポンスの特殊トークンの処理を追加
• MCP（Model Caching Proxy）の改善、SSE MCPサーバーの使用サポートを追加
• Google AI Studio /v1/files アップロードAPIサポートを追加
• Gemini画像生成出力サポートを追加
• VertexAI gemini-2.0-flashのサポートを追加
• DBRX Anthropicのthinkingとresponseフォーマットをサポート

重要な修正

• キャッチされない例外のJSONフォーマットを追加
• チャートでのttlSecondsAfterFinishedの誤ったインデントを修正
• Anthropicのthinkingとresponse_formatを修正
• OpenRouterキーエラーに関する情報メッセージの表示を追加
• DBのデッドロックを減らすために、Redisに支出更新を保存し、その後DBにコミット
• Azure o-seriesツール呼び出しの修正
• VertexAI資格情報のキャッシュ問題を修正
• DB取引アーキテクチャv2のデッドロック削減 - メモリ内キューに最大サイズとバックプレッシャー機構を追加
• Anthropicツール呼び出しのプロンプトキャッシュを修正

信頼性と監視の向上

• Prometheusでログ失敗メトリクスにLLMプロバイダーを追加 - LiteLLMエラーとLLM APIエラーを区別しやすく
• /metricsエンドポイントに認証を追加する機能
• 新しいDB取引アーキテクチャの運用メトリクスを発行

UI改善

• 新しい使用状況タブの修正
• ユーザーサインアップ時の「デフォルトキー」を削除し、個人キー作成に利用可能なユーザーモデルの表示を修正
• テストキーv2ページ - 画像エンドポイントのテストを可能にし、ページを改良
• Microsoft SSOでSSOユーザーをチームに割り当て可能に

v1.65.4-nightly（8時間前にリリース）

ナイトリービルドには、安定版と同様の機能と修正が含まれていますが、より最新のものとなっています。

v1.65.3-nightly（2日前にリリース）

このビルドでは以下の主な変更点がありました：

• 非管理者のユーザー日次アクティビティ利用を許可
• チーム管理者がチームモデルを更新できるように修正
• Cohereチャットトランスフォーメーションにmax_completion_tokensのサポートを追加
• Geminiルート埋め込みのオプションパラメータマッピングサポートを追加
• PodLockマネージャーにRedisを使用してPG（PostgreSQL）の代わりにデッドロックを防止

v1.65.2.dev1（4日前にリリース）

主な変更点：

• OpenRouterストリーミングの修正とAnthropic 'file'メッセージサポート
• Databricks llama3.3-70bエンドポイントとDatabricks Claude 3.7 Sonnetエンドポイントを追加
• モデル料金にgemini-2.5-pro-exp-03-25を追加
• max_parallel_requests = 0の場合の「循環参照検出」エラーを修正
• RedisとDBアーキテクチャが支出を正確に追跡するよう確保
• サービスアカウントの修正 - service_account_settings.enforced_paramsをサービスアカウントにのみ適用
• 仮想キーベースのポリシーをAim Guardrailsに追加

まとめ

最新のLiteLLMリリースでは、多様なLLMプロバイダーへの対応強化、システムの信頼性向上、UIの改善が進められています。特に注目すべき点は：

1. マルチモーダル機能の拡充（音声入力、画像生成など）
2. DB処理アーキテクチャの最適化によるパフォーマンス向上
3. チーム管理・認証機能の強化
4. 主要LLMプロバイダー（Anthropic、Vertex AI、Geminiなど）との連携強化

負荷テスト結果

最新の安定版v1.65.4-stableの負荷テスト結果：

• リクエスト成功率: 100%（1842リクエスト、0失敗）
• 平均応答時間: 223.77ms
• 毎秒リクエスト数: 6.15
• 最小応答時間: 181.88ms
• 最大応答時間: 4326.02ms

Dockerで実行する方法

docker run \
-e STORE_MODEL_IN_DB=True \
-p 4000:4000 \
ghcr.io/berriai/litellm:main-v1.65.4-stable

内部プロキシを維持したくない場合は、Hosted Proxy Alphaをご検討ください：
https://calendly.com/d/4mp-gd3-k5k/litellm-1-1-onboarding-chat