📚 関連書籍
####『ゼロから触ってわかった！AI Gateway入門 ― LiteLLMで学ぶ、LLM・AIエージェント・MCPを安全につなぐための基礎知識』
生成AIを試す段階から、組織で安全に使い続ける段階へ。
LLM・AIエージェント・MCPを個別に接続するのではなく、共通のGatewayを通じて管理するための基礎知識、設計、実装、運用を一冊で学べる実務入門書です。
https://link.amazon/B07CHz9OB
AI Gatewayの全体像
1-1 生成AIの利用はなぜ複雑になるのか
生成AIの利用を始めたばかりの段階では、システムの構成はそれほど複雑ではありません。アプリケーションにLLMプロバイダーのAPIキーを設定し、APIを呼び出すだけで、文章の生成や要約、質問応答などを実現できます。
しかし、生成AIの利用が個人検証からチーム、部門、全社へと広がるにつれて、管理しなければならない対象が急速に増えていきます。
接続するモデルが増えていく
企業では、1つのLLMだけを使い続けるとは限りません。用途によって、性能、料金、応答速度、セキュリティ要件が異なるためです。
例えば、次のような使い分けが考えられます。
- 高度な推論には高性能なモデルを使う
- 定型的な文章生成には低価格なモデルを使う
- 機密情報を扱う処理には社内環境のモデルを使う
- 障害時には別のプロバイダーへ切り替える
モデルが増えると、接続先のURL、API仕様、モデル名、利用可能な機能なども個別に管理する必要があります。アプリケーションごとに接続処理を実装すると、モデルを変更するたびに修正が発生します。
APIキーの管理が分散する
LLM APIを利用するには、通常、プロバイダーが発行するAPIキーが必要です。小規模な検証では、環境変数にAPIキーを設定するだけでも利用できます。
しかし、複数の開発者やアプリケーションが利用するようになると、次のような問題が起こります。
- 誰がどのAPIキーを持っているのか分からない
- ソースコードや設定ファイルにAPIキーが残る
- 退職者や異動者のキーを停止できない
- 漏えいしたキーの影響範囲を特定できない
- プロバイダーごとに異なる方法でキーを管理する
APIキーを各利用者へ直接配布する運用では、利用者が増えるほど漏えいや不正利用のリスクも高まります。
利用者とコストを把握できない
LLMの料金は、主に入力・出力トークン数によって決まります。同じアプリケーションでも、長い文書を入力したり、エージェントが処理を繰り返したりすると、利用料金が大きく増えることがあります。
ところが、複数のアプリケーションが同じAPIキーを使っていると、次の情報を把握しにくくなります。
- どの部署が利用したのか
- どのアプリケーションが利用したのか
- どのモデルに費用がかかっているのか
- 誰の処理によって予算を超過したのか
利用量を確認できても、組織やアプリケーション単位に分けられなければ、適切な予算管理は困難です。
ログと監査情報が分散する
生成AIを業務で利用する場合、単に回答を取得できればよいわけではありません。問題が発生したときに、誰が、いつ、どのモデルへ、どのようなリクエストを送ったのかを確認できる必要があります。
しかし、アプリケーションごとに直接LLMへ接続していると、ログの形式や保存場所がばらばらになります。ログ自体を記録していないアプリケーションも存在するかもしれません。
その結果、情報漏えいや不適切な回答が発生しても、原因を追跡できない状態になります。
AIエージェントとツール接続が複雑さを増す
AIエージェントは、LLMから回答を得るだけでなく、外部のツールやシステムを呼び出します。MCPを利用すれば、データベース検索、ファイル操作、メール送信、業務システムの更新なども実行できます。
一方で、接続先が増えると、管理対象も増加します。
- どのエージェントがどのツールを使えるのか
- 読み取りだけを許可するのか、更新も許可するのか
- 認証情報をどこに保存するのか
- 危険な操作に人間の承認を求めるのか
- ツールの実行履歴をどこに残すのか
モデルへの接続だけでなく、エージェントやツールの権限までアプリケーションごとに管理すると、全体を把握することが難しくなります。
個別管理から共通管理へ
生成AIの利用が広がると、管理対象はモデルだけではなくなります。
- LLMへの接続
- APIキーと認証
- 利用者と権限
- トークンとコスト
- ログと監査
- AIエージェント
- MCPサーバーとツール
これらを個別のアプリケーションで管理し続けると、設定の重複や管理漏れが発生します。そこで必要になるのが、LLM、AIエージェント、MCPツールへの接続を集約し、共通のルールで管理するAI Gatewayです。
AI Gatewayは、単なるAPIの中継地点ではありません。企業が生成AIを安全かつ継続的に利用するための、接続と統制の共通基盤となります。
1-2 AI Gatewayとは何か
AI Gatewayとは、アプリケーションとLLM、AIエージェント、MCPツールの間に配置され、接続、認証、制御、監視を一元化するための基盤です。
生成AIの利用を始めたばかりの段階では、アプリケーションからLLMプロバイダーのAPIを直接呼び出す構成でも問題なく動作します。しかし、利用するモデル、アプリケーション、開発者、部門が増えると、接続先やAPIキー、利用権限、コスト、ログなどの管理が分散します。
AI Gatewayは、こうした複雑さをアプリケーションから切り離し、共通の管理ポイントへ集約します。
AI Gatewayの基本的な位置
最も基本的な構成では、アプリケーションはLLMプロバイダーへ直接接続せず、AI Gatewayへリクエストを送ります。
処理の流れは、次のようになります。
1. 利用者やアプリケーションがAI Gatewayへリクエストを送る
2. AI Gatewayが認証と権限を確認する
3. 入力内容や利用ルールを検査する
4. 条件に適したLLMやツールを選択する
5. LLMまたはMCPサーバーへリクエストを転送する
6. 応答や実行結果を検査する
7. 利用量、コスト、ログを記録する
8. アプリケーションへ結果を返す
このように、AI Gatewayは単に通信を転送するだけではなく、リクエストの前後でさまざまなポリシーを適用します。
複数LLMへの接続をまとめる
企業では、用途に応じて複数のLLMを利用することがあります。
例えば、高度な推論には高性能モデル、定型処理には低価格モデル、機密データには社内環境のモデルを選択するといった使い分けです。
AI Gatewayを利用すると、アプリケーションはプロバイダーごとの接続方法を意識せず、共通のエンドポイントを通じてモデルを利用できます。
AI Gateway側では、次のような制御を行えます。
- 用途に応じてモデルを切り替える
- 利用者ごとに使用可能なモデルを制限する
- 障害時に別のモデルへ切り替える
- 複数の接続先へ負荷を分散する
- 高額なモデルの利用を制限する
これにより、モデル変更の影響をアプリケーションから切り離しやすくなります。
認証と権限を集中管理する
LLMプロバイダーのAPIキーをアプリケーションや利用者へ直接配布すると、漏えいや不正利用のリスクが高まります。
AI Gatewayでは、実際のプロバイダーキーをGateway内で管理し、利用者にはGateway用のキーや組織アカウントを使用させます。
これにより、次のような管理が可能になります。
- 利用者やアプリケーションを識別する
- 部門やプロジェクトごとに権限を分ける
- 利用可能なモデルを制限する
- キーを失効・更新する
- 退職者や不要なアプリケーションのアクセスを停止する
認証と権限を共通化することで、アプリケーションごとに個別の仕組みを実装する必要がなくなります。
利用量とコストを統制する
AI Gatewayは、誰が、どのモデルを、どの程度利用したかを記録します。
具体的には、次のような情報を管理できます。
- リクエスト数
- 入力・出力トークン数
- モデルごとの利用料金
- 利用者やチームごとの費用
- エラーや再試行の回数
さらに、予算上限やレート制限を設定すれば、想定外の利用増加を防ぐこともできます。
例えば、チームごとに月間予算を設定したり、高額モデルの利用回数を制限したりできます。AIエージェントが同じ処理を繰り返した場合にも、実行回数やコストの上限を設けられます。
MCPツールとAIエージェントも統制する
AI Gatewayが扱う対象は、LLMだけではありません。
AIエージェントがMCPを通じて外部ツールを利用する場合、Gatewayでツールへの接続や権限を管理できます。
例えば、次のような制御が考えられます。
- 検索ツールは全利用者に許可する
- データ更新ツールは特定のエージェントだけに許可する
- 削除や送信を伴う操作には人間の承認を求める
- MCPサーバーの認証情報を利用者へ公開しない
- 誰がどのツールを実行したか記録する
これにより、エージェントが利用できるモデル、データ、ツールを一貫したルールで管理できます。
接続と統制の共通基盤
AI Gatewayの役割は、大きく次の4つに整理できます。
- 接続：LLM、AIエージェント、MCPツールへの入口をまとめる
- 統制：認証、権限、利用制限、承認ルールを適用する
- 可観測性：ログ、トレース、利用量、コストを記録する
- 信頼性：再試行、負荷分散、フォールバックによって安定運用を支える
つまり、AI Gatewayは単なるLLM APIのプロキシではありません。
LLM・AIエージェント・MCPツールを安全に接続し、企業として継続的に管理するための共通基盤です。生成AIの利用が個別検証から組織利用へ進むほど、その重要性は高まります。