はじめに
この記事は、NTTテクノクロスアドベントカレンダーシリーズ2の22日目の記事です。
こんにちは、NTTテクノクロスの市川です。
普段の業務ではメタバースのWebクライアント開発を担当しています。
私の所属する組織では普段の業務とは別に、DX化による業務効率向上に向けてチーム単位で活動を行っています。
その中で私たちのチームはAI駆動開発に注目し、組織へのAI駆動開発環境の構築ノウハウの共有を目的に環境の構築に取り組んでいます。
今回は私たちが構築している環境の構築について紹介します。
構築する環境の紹介
私たちのチームで構築に取り組んでいる環境構成図です。
Amazon Bedrockを用いてLLMを利用するにあたり、LiteLLMでクォータ制限を行いつつ、セキュアな接続でBedrockを利用できる環境を構築します。
今回構成する範囲
現在は環境を構築途中であること、構築に必要な手順が多いことを考慮して記事を2回に分けて投稿します。
今回の記事では、パブリックサブネットのEC2でLiteLLMをホストし、ローカル環境からcurlコマンドでLiteLLMを経由しながらBedrockにアクセスするまでの方法を紹介します。
以降のセキュアな環境構築については次回投稿(年度内目標)の記事にて紹介する予定です。
今回作成したEC2からAMIを作成し、プライベートサブネット内にEC2を構築します。
LiteLLM、LiteLLM Proxyについて
実際の環境構築に入る前に、LiteLLMについて軽く紹介します。
LiteLLMは様々なLLMのAPIをOpenAI API互換のフォーマットで統一的に扱えるようにするPythonライブラリです。
LLMのAPI毎に異なるリクエスト形式にユーザ側の入力リクエストを自動で変換してくれる翻訳機のようなイメージです。
LiteLLMを利用することで、OpenAI互換API形式のリクエストに対応したモデルを利用することができます。
ただし、LiteLLM自体はOpenAI互換に徹したLLMクライアントライブラリのため、OpenAI互換形式以外のモデルには対応していません。
今回はこのLiteLLMのAPIゲートウェイサーバ機能にあたるLiteLLM Proxyをメインに取り扱っていきます。
LiteLLM Proxyの機能を一部紹介します。
-
仮想キー管理
- LiteLLM Proxyを利用するユーザごとに利用期間を制限した仮想キーを発行することができます。
- これにより、ユーザがLLMプロバイダのAPIキーを直接扱うことなくLLMの利用ができます。
-
コスト管理
- ユーザ、プロジェクト、タグ単位でコスト利用状況の可視化および利用制限ができます。
- これにより、誰が・どのプロジェクトで・いくら使ったかまで記録する他、設定した予算を超過した際は自動で利用を停止させることもできます。
-
ロードバランサ
- 複数リージョン(AWS)や複数アカウントへのトラフィック分散、自動切り替えができます。
- これにより、複数人同時利用によるLLMのレート制限やAWSリージョンでの障害発生に対応できる冗長構成の実現に貢献できます。
また、LiteLLM ProxyはLiteLLMのOpenAI互換APIに加えて、OpenAI非互換のAPIもそのまま中継が可能なため、OpenAI非互換APIのリクエスト形式のモデルも利用ができます。
つまり、LiteLLM Proxyは
OpenAI互換API、OpenAI非互換APIの両方を取り扱える汎用的なAPIゲートウェイということです。
実際の環境構築
利用環境
-
AWSサービス (VPC, IAM, EC2, Bedrock)
- LLM利用環境構築
- 今回作成するリソースはすべて東京リージョン(ap-northeast-1)に作成します。
-
TeraTerm
- TeraTermのバージョン情報
- Version 5.4.1 ×86 (Git 4647ead)
- EC2にSSH接続し、LiteLLMをセットアップします。
- TeraTermのバージョン情報
VPC及びネットワーク
今回はあくまで疎通確認が取れるAMIを作るのを目的とし、最低限のセキュリティ構成で構築しています。
構築を行う環境のセキュリティ要件は各自で検討することをお勧めします。
VPC作成
-
以下の条件でVPCを作成します。
項目 設定値 名前タグ 任意の名前 作成するリソース VPCのみ IPv4 CIDR 10.0.0.0/16 IPv6 CIDR なし テナンシー デフォルト
サブネット作成
-
以下の条件でサブネットを作成します。
パブリックサブネット
項目 設定値 サブネット名 任意の名前 アベイラビリティゾーン ap-northeast-1a IPv4 CIDR 10.0.0.0/24
インターネットゲートウェイ作成
- 任意の名前を付けてインターネットゲートウェイを作成します。
- 作成したインターネットゲートウェイを選択して、先ほど作成したVPCにインターネットゲートウェイをアタッチします。
ルートテーブル作成
-
以下の条件でルートテーブルを作成します。
項目 設定値 名前 任意の名前 VPC 先ほど作成したVPC
-
作成したルートテーブルを選択して、先ほど作成したパブリックサブネットと関連付けます。
-
作成したルートテーブルに以下の条件でルートを作成します。
項目 設定値 送信先 0.0.0.0/0 ターゲット インターネットゲートウェイ
(先ほど作成したインターネットゲートウェイを選択)
セキュリティグループ作成
-
以下の条件でセキュリティグループを作成します。
項目 設定値 セキュリティグループ名 任意の名前 VPC 先ほど作成したVPC - インバウンドルール
タイプ ポート範囲 ソース IP CIDR カスタムTCP 4000 カスタム 構築に利用しているクライアント端末のグローバルIP SSH 22 カスタム 構築に利用しているクライアント端末のグローバルIP - アウトバウンドルール
タイプ ポート範囲 ソース IP CIDR すべてのトラフィック すべて カスタム 0.0.0.0/0
IAMの準備
IAMロール作成
-
以下の条件でロールを作成します。
項目 設定値 信頼されたエンティティのタイプ AWSのサービス ユースケース EC2 許可ポリシー AmazonBedrockFullAccess ロール名 任意の名前
EC2構築
LiteLLMをホストするためのEC2インスタンスを構築します。
今回はあくまでカスタムAMIの作成を目的とした疎通確認用のインスタンスを作成するため、EC2のスペック、ボリュームについては最低限のものを利用しています。
キーペア作成
-
以下の条件でキーペアを作成します。
項目 設定値 キーペアのタイプ RSA プライベートキーファイル形式 .pem
2. 作成したキーペアはEC2インスタンスへのSSH接続時に利用するため、ローカル環境にダウンロードします。
EC2インスタンス作成
- 以下の条件でインスタンスを作成して起動します。
| 項目 | 設定値 |
|---|---|
| 名前 | 任意の名前 |
| [ アプリケーション及びOSイメージ ] | |
| Amazon マシンイメージ(AMI) | Ubuntu Server 24.04 LTS (HVM), SSD Volume Type |
| アーキテクチャ | 64ビット(×86) |
| インスタンスタイプ | t3.micro |
| キーペア | 先ほど作成したキーペア |
| [ ネットワーク設定 ] | "編集"をクリック |
| VPC | 先ほど作成したVPC |
| サブネット | 先ほど作成したパブリックサブネット |
| パブリックIPの自動割り当て | 有効化 |
| 既存のセキュリティグループを選択 | 先ほど作成したセキュリティグループ |
| ストレージを設定 | 1×16GiB [ gp3 ] |
| [ 高度な詳細 ] | |
| IAMインスタンスプロフィール | 先ほど作成したIAMロール |
LiteLLMのセットアップ
作成したEC2インスタンスに対し、TeraTermを利用してSSH接続を行ってLiteLLMをセットアップします。
SSH接続
接続に利用するEC2インスタンスのPublic IPは起動する度に代わるので注意が必要
-
TeraTermでキー設定を行います(認証キーにダウンロードしたキーペアを指定)。
-
利用するネットーワーク環境によってはプロキシ設定を行います。
Dockerのセットアップ
- Dockerのセットアップのため、以下のコマンドを上から順に実行します。
# パッケージを更新し、必要なツールをインストール sudo apt-get update sudo apt-get install -y ca-certificates curl git # Dockerの公式GPGキーを追加して権限を付与 sudo install -m 0755 -d /etc/apt/keyrings sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc sudo chmod a+r /etc/apt/keyrings/docker.asc # aptにDocker公式リポジトリを追加 echo \ "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \ $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \ sudo tee /etc/apt/sources.list.d/docker.list > /dev/null # パッケージを再度更新してDocker実行環境をインストール sudo apt-get update sudo apt-get install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin # Dockerの実行権限を設定し、反映のためにインスタンスを再起動 sudo usermod -aG docker ${USER} sudo reboot
- 再起動完了後、再度インスタンスにSSH接続します。
LiteLLMのセットアップ
-
LiteLLMのリポジトリをクローンします。
git clone https://github.com/BerriAI/litellm.git
-
クローンしたディレクトリに移動します。
cd litellm
-
LiteLLMで利用する設定ファイルを作成します。
-
.env
.envファイルの中身は下記参照.envDATABASE_URL=postgresql://litellm:litellm_password@postgres:5432/litellm LITELLM_MASTER_KEY=sk-XXX-YYY-key # MASTER_KEYとして利用されるkeyの名前 STORE_MODEL_IN_DB=true LITELLM_LOG=INFO LITELLM_SET_VERBOSE=true AWS_DEFAULT_REGION=ap-northeast-1
-
config.yml
config.ymlファイルの中身は下記を参考に作成してください。
参考資料として筆者のconfig.ymlファイルを載せます。config.ymlの記述例# litellm - モデル設定ファイル (config.yml) model_list: # 利用できるモデルを定義するリスト # モデル定義1:(クロスリージョン推論を利用) - model_name: sample-model-1 # ローカルからリクエスト時に指定するこのモデルの名前 litellm_params: model: bedrock/jp.XXXX.YYYY-20250101-v1:0 # 呼び出すBedrockモデルの公式ID model_id: arn:aws:bedrock:ap-northeast-1:075919840364:inference-profile/jp.anthropic.claude-sonnet-4-5-20250929-v1:0 # 利用する推論プロファイルのID クロスリージョン推論では必要となる aws_region_name: ap-northeast-1 # モデルが稼働しているリージョン # モデル定義2:(クロスリージョン推論の利用なし) - model_name: sample-model-2 litellm_params: model: bedrock/AAAA.BBBB-20250101-v1:0 aws_region_name: ap-northeast-1 general_settings: # その他設定 drop_params: true参考:筆者のconfig.ymlmodel_list: # ------------------------------------------------------------------------------------- # 1. Claude 4.5 Sonnet # ------------------------------------------------------------------------------------- - model_name: claude-4.5-sonnet litellm_params: model: bedrock/jp.anthropic.claude-sonnet-4-5-20250929-v1:0 model_id: arn:aws:bedrock:ap-northeast-1:{アカウントIDのため伏せる}:inference-profile/jp.anthropic.claude-sonnet-4-5-20250929-v1:0 aws_region_name: ap-northeast-1 # ------------------------------------------------------------------------------------- # 2. Claude 3.5 Sonnet # ------------------------------------------------------------------------------------- - model_name: claude-3.5-sonnet litellm_params: model: bedrock/anthropic.claude-3-5-sonnet-20240620-v1:0 aws_region_name: ap-northeast-1 general_settings: drop_params: true利用モデルのパラメータ「model_id」の確認法について
画面左側メニューの「推論」内の「クロスリージョン推論」にアクセスして、モデルに対応した推論プロファイルの推論プロファイルARNを確認してください。
-
docker-compose.yml
docker-compose.ymlの中身は下記参照docker-compose.ymlservices: postgres: image: postgres:16-alpine container_name: litellm_postgres environment: POSTGRES_DB: litellm POSTGRES_USER: litellm POSTGRES_PASSWORD: litellm_password volumes: - postgres_data:/var/lib/postgresql/data restart: unless-stopped healthcheck: test: ["CMD-SHELL", "pg_isready -U litellm -d litellm"] interval: 10s timeout: 5s retries: 5 litellm: image: ghcr.io/berriai/litellm:main-stable container_name: litellm_proxy depends_on: postgres: condition: service_healthy ports: - "4000:4000" volumes: - ./config.yml:/app/config.yml:ro env_file: - .env restart: unless-stopped command: ["--port=4000", "--host=0.0.0.0", "--config=/app/config.yml"] volumes: postgres_data:
-
-
LiteLLMを起動して正常に動作することを確認します。
docker compose up -
設定した端末からhttp://<インスタンスのPublic IP>:4000にアクセスし、LiteLLMのGUIにアクセスできることを確認します。

LiteLLMの疎通確認
MASTER_KEYを使ってLiteLLM上からBedrockに向けてリクエストを行い、LiteLLMがBedrockと疎通が取れているか確認します。
LiteLLMを起動中であることが前提
- litellmのディレクトリに移動し、Bedrockにリクエストを行います。
リクエストに成功すると以下の画像のような応答が返ってきます。
curl http://localhost:4000/v1/chat/completions -H "Content-Type: application/json" \ -H "Authorization: Bearer sk-XXX-YYY-key" \ -d '{ "model": "claude-4.5-sonnet", "messages": [{ "role": "user", "content": "Hello, world!" }] }'
クライアント側からの疎通確認
クライアントは仮想キーを使ってLiteLLMにリクエストし、LiteLLMはマスターキーを用いてBedrockへそのリクエストを転送します。
[クライアント端末]
|
| 1. 仮想キーを使ってリクエスト
↓
[LiteLLM プロキシサーバー]
|
| 2. 仮想キーを検証
| (有効期限、コスト上限、アクセス権など)
|
| 3. 検証OKなら、保管しているマスターキー
| (AWS認証情報)を使ってリクエストを再構築
↓
[Amazon Bedrock]
仮想キーの発行
LiteLLMを起動中であることが前提
-
litellmのディレクトリに移動し、仮想キーを発行します。
仮想キー発行は以下コマンドを参考に実施してください。# 仮想キー発行のリクエスト書き方 curl -X POST http://localhost:4000/key/generate \ -H "Authorization: Bearer {.envで設定したMASTER_KEY}" \ -H "Content-Type: application/json" \ -d '{ "models": ["利用するモデル名"], "duration": "利用する期間", "metadata": {"user_id": "利用ユーザ名"} }' | jq -------------------------------------------------------- # 参考:筆者の仮想キー発行リクエスト curl -X POST http://localhost:4000/key/generate -H "Authorization: Bearer sk-XXX-YYY-key" \ -H "Content-Type: application/json" \ -d '{ "models": ["claude-4.5-sonnet"], "duration": "1d", "metadata": {"user_id": "test-user"} }' | jq
クライアント端末からリクエスト
基本的にリクエスト文章の書き方は共通だが、Windows、Linux、Macでコマンドの記法(改行やjson)に微妙な違いがあるので要注意
- クライアント端末でターミナルを開き、リクエストを実施します。
リクエストに成功すると以下の画像のような応答が返ってきます。
# クライアント端末からのリクエスト書き方 curl http://<LiteLLMをホストしているインスタンスのPublic IP>:4000/v1/chat/completions \ -H "Content-Type: application/json" \ -H "Authorization: Bearer <発行した仮想キー>" \ -d '{ "model": "仮想キー発行時に指定したモデル", "messages": [{ "role": "user", "content": "リクエスト内容テキスト" }] }' -------------------------------------------------------- # 参考:筆者のクライアント端末からのリクエスト curl http://18.183.192.198:4000/v1/chat/completions -H "Content-Type: application/json" -H "Authorization: Bearer sk-EVQo7qsi_5Iu4kWi_RSBOg" -d '{ "model": "claude-4.5-sonnet", "messages": [{ "role": "user", "content": "Hello, world!" }] }'

ここまで完了すればクライアント端末→LiteLLM→Bedrockの疎通完了です。
お疲れ様でした。
まとめ
今回は次回の作業でPrivateサブネット内にLiteLLMのセットアップが完了したEC2を作成するためのカスタムAMIを作成する目的で、Publicサブネット内にLiteLLMをホストしてBedrockと疎通がとれるEC2インスタンスを作成しました。
また、今回はLiteLLMの機能を仮想キー発行しか利用しませんでしたが、リクエストログの管理、トークン数の利用状況確認・制限などもできるので、今後はこれらの機能も利用していきたいと考えています。
明日の投稿者の紹介
NTTテクノクロス Advent Calendar 2025:シリーズ2もいよいよ終盤!
明日は@makooooさんの記事が公開予定です!ぜひご覧ください!
次回予告
次回の記事にて、以下の項目を実施し、セキュアにBedrockが利用できる環境を構築していきます。
- 今回構築したEC2からカスタムAMIを作成し、それを元にプライベートサブネットにEC2を構築
- VPCエンドポイントを作成し、SSMの環境を構築
- クライアント側からEC2にSSM接続を行い、プライベートサブネット内のEC2からBedrockにアクセス
- etc...











