はじめに
生成AI / LLM を活用したサービスが急増している近年では、LLM API を安全かつ効率的に扱うための仕組みが求められるようになってきました。そこで注目されているのが AI Gateway です。
本記事では、Envoy プロジェクトが提供する Envoy AI Gateway を中心に、「そもそも AI Gateway とは何か」「なぜ必要なのか」「どんな特徴があるのか」を整理していきます。
Envoy AI Gateway とは？
Envoy AI Gateway とは、「Kubernetes ネイティブな AI 特化の API Gateway」 です。2025年2月に v0.1.0 が公開された比較的新しい OSS ですが、現在は本番利用を前提とした機能が充実した v0.4.0をリリースしています。リリース概要については後半で詳しく説明します。（Envoy AI Gateway リリース概要）
生成AI / LLM の API を複数利用したいことがあると思いますが、モデルごとに API の仕様が異なり、認証・レート制御・監査なども個別に対処しないといけません。AI Gateway はこうした課題を解決します。
Envoy AI Gateway は Envoy プロジェクトが提供する OSS であり、その土台となっているのが以下の 2 つの OSS です。
- Envoy Proxy：高速L4/L7プロキシ
- Envoy Gateway：API Gateway
これらはいずれも CNCF プロジェクトのOSSであり、CNCF Landscape の 「Orchestration & Management」層に分類されています。
CNCF Landscape とは？
CNCF（ Cloud Native Computing Foundation ）というクラウドネイティブ技術の普及と発展を支援する非営利団体が管理するサイトで、クラウドネイティブに関わるツールをカテゴリ別に一覧化しています。
CNCFについて、詳しくはこちらの記事をご参照ください。
Envoy プロジェクトの関係については、後ほど整理します。（Envoyプロジェクトの関係）
そもそも AI Gateway とは？
AI Gatewayとは 「API Gateway を生成AI/LLM 向けに最適化したもの」 です。
コスト最適化や可用性確保のために複数のモデルを切り替えたいときに、プロバイダーごとの違いによる複雑さを解決するのがAI Gatewayです。
従来の API Gateway は、クライアントとバックエンドサービス間で、認証・ルーティング・ログ・監査などの処理を行います。
AI Gateway はこれらに、
- 複数モデルの切り替え
- プロバイダー障害時のフェイルオーバー（自動切り替え）
- トークンの課金計測
- プロバイダーごとのAPI仕様の差異を統一
などの機能を追加したものになります。
Envoy プロジェクトの関係
冒頭でも説明しましたが、Envoy AI Gateway は Envoy Proxy と Envoy Gatewayの2つのOSSが土台となっています。
ここで、Envoy プロジェクトの関係を整理しておきます。
Envoy Proxy は、高速なL7/L4 プロキシで、Envoy Gateway のデータプレーンとして動作します。Envoy AI Gateway でも実際のリクエスト処理を担います。
Envoy Gatewayは、Envoy Proxyを使った API Gateway を簡単に構築・管理するためのツールです。Kubernetesネイティブなツールであり、Kubernetes上で宣言的にEnvoy Proxyを設定・管理できます。
そしてこれらにAI向けの機能を追加したのが、Envoy AI Gateawy です。前章で解説した通り、複数のプロバイダーの統合的な管理が可能となります。
Envoy AI Gateway の特徴
本章では、Envoy AI Gatewayの3つの特徴として「アーキテクチャパターン」「2段構成のゲートウェイパターン」「サポートプロバイダー」について解説していきます。
アーキテクチャパターン
特徴の1つ目として、コントロールプレーンとデータプレーンを完全に分離したクラウドネイティブなアーキテクチャパターンを採用している点が挙げられます。
引用：https://aigateway.envoyproxy.io/docs/concepts/architecture/system-architecture
コントロールプレーンが設定や制御を行い、データプレーンが実際のリクエスト処理を行います。
-
コントロールプレーン
- Kubernetes API Server を通じて設定を受け取る
- AI Gateway Controller が AI 特有の設定を管理
- Envoy Gateway Controller が Envoy Proxy の設定を担当
-
データプレーン
- Envoy Proxy がリクエストをルーティング・制御
- External Processor が AI 向けの処理を担当
- Rate Limit Service がトークンベースのレート制限を管理
コントロールプレーンで定義された設定がデータプレーンに適用されることで、LLM トラフィックを柔軟かつ安全に管理することができます。
詳しくは公式ドキュメントをご参照ください。
2段構成（Two-tier）のゲートウェイパターン
特徴の2つ目として、2段構成（Two-tier）のゲートウェイパターンを採用していることが挙げられます。
引用：https://github.com/envoyproxy/ai-gateway
Tier One Gateway（第一層ゲートウェイ） は、アプリケーションからのリクエストが最初に通過する中央入口の役割を持つゲートウェイです。認証、上位ルーティング、全体のレート制限など、サービス全体に共通する制御を行います。
Tier Two Gateway（第二層ゲートウェイ） は、自前でホストしているLLMモデルへの細かい制御を担当するゲートウェイです。モデル選択や推論の最適化など、生成 AI 向けのより細かな制御を行います。
このように外部からのアクセスと内部の仕組みを分離することで、安全にAIを使いながらモデルの切り替えなどの運用を柔軟に行うことができます。
詳しくは公式ブログをご参照ください。
標準サポートしているAI プロバイダー
特徴の3つ目として、多数のAI プロバイダーを標準でサポートしている点があげられます。
引用：https://github.com/envoyproxy/ai-gateway
多数の AI プロバイダーを標準でサポートしていることで、
- 特定のプロバイダーに依存しないベンダーロックインの回避
- コストや性能など目的に応じた柔軟なモデル選択の最適化
- 障害時に別プロバイダーへ切り替える可用性の向上
といったメリットが考えられます。
詳細なサポートプロバイダー、APIスキーマ設定、認証設定については公式サイトをご参照ください。
Envoy AI Gateway リリース概要
2025年2月25日に初の公式リリース（ v0.1.0 ）が公開されました。その後、対応プロバイダーの拡張や認証・可観測性の強化などを経て、2025年11月7日最新の v0.4.0 が公開されています。
| バージョン | リリース日 | 主な特徴 |
|---|---|---|
| v0.1.x | 2025/02/25 | 初の公式リリース。API統合、主要 LLM プロバイダー対応、Upstream Authentication など基本機能を提供。 |
| v0.2.x | 2025/06/05 | Azure OpenAI 向けのエンタープライズ認証対応に焦点を当てたリリース。 |
| v0.3.x | 2025/08/21 | Google Vertex AI、Anthropic に対応。動的ロードバランシングなど可観測性を強化したリリース。 |
| v0.4.x | 2025/11/07 | MCP Gatewayの導入、認証機能の強化 などを含む最新リリース。 |
詳しいバージョンについては、公式のリリースノートよりご確認ください。
まとめ
本記事では、Envoy プロジェクトが提供するOSS「Envoy AI Gateway」を中心に、「AI Gateway とは何か」「なぜ必要なのか」「どんな特徴があるのか」を整理しました。
AI Gatewayは、複数の LLM プロバイダーを扱う際に発生するAPI 仕様の違いや認証方式の差異、可用性の確保などの課題を解決するための仕組みであり、近年需要が高まっていることを紹介しました。
Envoy AI Gatewayは、「Envoy Proxy」「Envoy Gateway」の2つが土台となっている OSS で、Kubernetes ネイティブに LLM トラフィックを統合的に管理することができるツールであることを紹介しました。
感想
今回はAI Gatewayの中でもOSSでありCNCFが管理しているEnvoyプロジェクトに着目して「Envoy AI Gateway」について調べてみましたが、他にもOSSのAI Gatewayは多く存在しそうなので、別のプロジェクトについても調べてみたいと感じました！
また、生成AIの利用が広がる中で、「安全に利用する」という観点からもAI Gatewayはますます重要な役割を担い、技術も発展していくのではないかと思いました。
今後も最新動向を追っていきたいです。
次回予告
次回はEnvoy AI Gatewayを実際に動かしてみた様子をお届けします！
- Envoy AI Gateway をローカル環境のKubernetes上で動かしてみる
- 複数のプロバイダーと接続して挙動を確認してみる
といった内容を予定しています。
続編に興味のある方、本記事に興味をもっていただけた方は是非「フォロー」や「いいね」をいただけると嬉しいです！