11
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

LiteLLM、Amazon Bedrockを利用したLLM利用環境構築について①

11
Last updated at Posted at 2025-12-21

はじめに

この記事は、NTTテクノクロスアドベントカレンダーシリーズ2の22日目の記事です。

こんにちは、NTTテクノクロスの市川です。
普段の業務ではメタバースのWebクライアント開発を担当しています。

私の所属する組織では普段の業務とは別に、DX化による業務効率向上に向けてチーム単位で活動を行っています。
その中で私たちのチームはAI駆動開発に注目し、組織へのAI駆動開発環境の構築ノウハウの共有を目的に環境の構築に取り組んでいます。

今回は私たちが構築している環境の構築について紹介します。

構築する環境の紹介

私たちのチームで構築に取り組んでいる環境構成図です。

全体構成図
全体構成図

Amazon Bedrockを用いてLLMを利用するにあたり、LiteLLMでクォータ制限を行いつつ、セキュアな接続でBedrockを利用できる環境を構築します。

今回構成する範囲

現在は環境を構築途中であること、構築に必要な手順が多いことを考慮して記事を2回に分けて投稿します。

今回の記事では、パブリックサブネットのEC2でLiteLLMをホストし、ローカル環境からcurlコマンドでLiteLLMを経由しながらBedrockにアクセスするまでの方法を紹介します。

今回の範囲の構成図
今回の範囲の構成図

以降のセキュアな環境構築については次回投稿(年度内目標)の記事にて紹介する予定です。
今回作成したEC2からAMIを作成し、プライベートサブネット内にEC2を構築します。


LiteLLM、LiteLLM Proxyについて

実際の環境構築に入る前に、LiteLLMについて軽く紹介します。

LiteLLMは様々なLLMのAPIをOpenAI API互換のフォーマットで統一的に扱えるようにするPythonライブラリです。

LLMのAPI毎に異なるリクエスト形式にユーザ側の入力リクエストを自動で変換してくれる翻訳機のようなイメージです。

LiteLLMを利用することで、OpenAI互換API形式のリクエストに対応したモデルを利用することができます。
ただし、LiteLLM自体はOpenAI互換に徹したLLMクライアントライブラリのため、OpenAI互換形式以外のモデルには対応していません。

今回はこのLiteLLMのAPIゲートウェイサーバ機能にあたるLiteLLM Proxyをメインに取り扱っていきます。

LiteLLM Proxyの機能を一部紹介します。

  • 仮想キー管理

    • LiteLLM Proxyを利用するユーザごとに利用期間を制限した仮想キーを発行することができます。
    • これにより、ユーザがLLMプロバイダのAPIキーを直接扱うことなくLLMの利用ができます。
  • コスト管理

    • ユーザ、プロジェクト、タグ単位でコスト利用状況の可視化および利用制限ができます。
    • これにより、誰が・どのプロジェクトで・いくら使ったかまで記録する他、設定した予算を超過した際は自動で利用を停止させることもできます。
  • ロードバランサ

    • 複数リージョン(AWS)や複数アカウントへのトラフィック分散、自動切り替えができます。
    • これにより、複数人同時利用によるLLMのレート制限やAWSリージョンでの障害発生に対応できる冗長構成の実現に貢献できます。

また、LiteLLM ProxyはLiteLLMのOpenAI互換APIに加えて、OpenAI非互換のAPIもそのまま中継が可能なため、OpenAI非互換APIのリクエスト形式のモデルも利用ができます。

つまり、LiteLLM Proxyは
OpenAI互換API、OpenAI非互換APIの両方を取り扱える汎用的なAPIゲートウェイということです。

実際の環境構築

利用環境

  • AWSサービス (VPC, IAM, EC2, Bedrock)

    • LLM利用環境構築
    • 今回作成するリソースはすべて東京リージョン(ap-northeast-1)に作成します。
  • TeraTerm

    • TeraTermのバージョン情報
      • Version 5.4.1 ×86 (Git 4647ead)
    • EC2にSSH接続し、LiteLLMをセットアップします。

VPC及びネットワーク

今回はあくまで疎通確認が取れるAMIを作るのを目的とし、最低限のセキュリティ構成で構築しています。
構築を行う環境のセキュリティ要件は各自で検討することをお勧めします。

VPC作成

  1. 以下の条件でVPCを作成します。

    項目 設定値
    名前タグ 任意の名前
    作成するリソース VPCのみ
    IPv4 CIDR 10.0.0.0/16
    IPv6 CIDR なし
    テナンシー デフォルト

サブネット作成

  1. 以下の条件でサブネットを作成します。

    パブリックサブネット

    項目 設定値
    サブネット名 任意の名前
    アベイラビリティゾーン ap-northeast-1a
    IPv4 CIDR 10.0.0.0/24

インターネットゲートウェイ作成

  1. 任意の名前を付けてインターネットゲートウェイを作成します。
  2. 作成したインターネットゲートウェイを選択して、先ほど作成したVPCにインターネットゲートウェイをアタッチします。

ルートテーブル作成

  1. 以下の条件でルートテーブルを作成します。

    項目 設定値
    名前 任意の名前
    VPC 先ほど作成したVPC

  2. 作成したルートテーブルを選択して、先ほど作成したパブリックサブネットと関連付けます。

  3. 作成したルートテーブルに以下の条件でルートを作成します。

    項目 設定値
    送信先 0.0.0.0/0
    ターゲット インターネットゲートウェイ
    (先ほど作成したインターネットゲートウェイを選択)

セキュリティグループ作成

  1. 以下の条件でセキュリティグループを作成します。

    項目 設定値
    セキュリティグループ名 任意の名前
    VPC 先ほど作成したVPC
    • インバウンドルール
    タイプ ポート範囲 ソース IP CIDR
    カスタムTCP 4000 カスタム 構築に利用しているクライアント端末のグローバルIP
    SSH 22 カスタム 構築に利用しているクライアント端末のグローバルIP
    • アウトバウンドルール
    タイプ ポート範囲 ソース IP CIDR
    すべてのトラフィック すべて カスタム 0.0.0.0/0


IAMの準備

IAMロール作成

  1. 以下の条件でロールを作成します。

    項目 設定値
    信頼されたエンティティのタイプ AWSのサービス
    ユースケース EC2
    許可ポリシー AmazonBedrockFullAccess
    ロール名 任意の名前

EC2構築

LiteLLMをホストするためのEC2インスタンスを構築します。
今回はあくまでカスタムAMIの作成を目的とした疎通確認用のインスタンスを作成するため、EC2のスペック、ボリュームについては最低限のものを利用しています。

キーペア作成

  1. 以下の条件でキーペアを作成します。

    項目 設定値
    キーペアのタイプ RSA
    プライベートキーファイル形式 .pem

2. 作成したキーペアはEC2インスタンスへのSSH接続時に利用するため、ローカル環境にダウンロードします。

EC2インスタンス作成

  1. 以下の条件でインスタンスを作成して起動します。
項目 設定値
名前 任意の名前
[ アプリケーション及びOSイメージ ]
Amazon マシンイメージ(AMI) Ubuntu Server 24.04 LTS (HVM), SSD Volume Type
アーキテクチャ 64ビット(×86)
インスタンスタイプ t3.micro
キーペア 先ほど作成したキーペア
[ ネットワーク設定 ] "編集"をクリック
VPC 先ほど作成したVPC
サブネット 先ほど作成したパブリックサブネット
パブリックIPの自動割り当て 有効化
既存のセキュリティグループを選択 先ほど作成したセキュリティグループ
ストレージを設定 1×16GiB [ gp3 ]
[ 高度な詳細 ]
IAMインスタンスプロフィール 先ほど作成したIAMロール

LiteLLMのセットアップ

作成したEC2インスタンスに対し、TeraTermを利用してSSH接続を行ってLiteLLMをセットアップします。

SSH接続

接続に利用するEC2インスタンスのPublic IPは起動する度に代わるので注意が必要

  1. TeraTermでキー設定を行います(認証キーにダウンロードしたキーペアを指定)。

  2. 利用するネットーワーク環境によってはプロキシ設定を行います。

  3. EC2インスタンスのPublic IPを指定してSSH接続を実施します。
    TeraTerm新しい接続

  4. SSH認証は基本そのままでOK
    TeraTermSSH認証

    SSH接続成功時のTeraTerm画面
    TeraTerm_SSH接続
    この画面になればEC2インスタンスへSSH接続ができているのでOK


Dockerのセットアップ

  1. Dockerのセットアップのため、以下のコマンドを上から順に実行します。
    # パッケージを更新し、必要なツールをインストール
    sudo apt-get update
    sudo apt-get install -y ca-certificates curl git
    
    # Dockerの公式GPGキーを追加して権限を付与
    sudo install -m 0755 -d /etc/apt/keyrings
    sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
    sudo chmod a+r /etc/apt/keyrings/docker.asc
    
    # aptにDocker公式リポジトリを追加
    echo \
    "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
    $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
    sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
    
    # パッケージを再度更新してDocker実行環境をインストール
    sudo apt-get update
    sudo apt-get install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
    
    # Dockerの実行権限を設定し、反映のためにインスタンスを再起動
    sudo usermod -aG docker ${USER}
    sudo reboot
    

  2. 再起動完了後、再度インスタンスにSSH接続します。

LiteLLMのセットアップ

  1. LiteLLMのリポジトリをクローンします。

    git clone https://github.com/BerriAI/litellm.git
    

  2. クローンしたディレクトリに移動します。

    cd litellm
    

  3. LiteLLMで利用する設定ファイルを作成します。

    • .env
      .envファイルの中身は下記参照

      .env
      DATABASE_URL=postgresql://litellm:litellm_password@postgres:5432/litellm
      LITELLM_MASTER_KEY=sk-XXX-YYY-key  # MASTER_KEYとして利用されるkeyの名前
      STORE_MODEL_IN_DB=true
      LITELLM_LOG=INFO
      LITELLM_SET_VERBOSE=true
      
      AWS_DEFAULT_REGION=ap-northeast-1
      

    • config.yml
      config.ymlファイルの中身は下記を参考に作成してください。
      参考資料として筆者のconfig.ymlファイルを載せます。

      config.ymlの記述例
      # litellm - モデル設定ファイル (config.yml)
      model_list:  # 利用できるモデルを定義するリスト
        # モデル定義1:(クロスリージョン推論を利用)
        - model_name: sample-model-1  # ローカルからリクエスト時に指定するこのモデルの名前
          litellm_params:
            model: bedrock/jp.XXXX.YYYY-20250101-v1:0  # 呼び出すBedrockモデルの公式ID
            model_id: arn:aws:bedrock:ap-northeast-1:075919840364:inference-profile/jp.anthropic.claude-sonnet-4-5-20250929-v1:0  # 利用する推論プロファイルのID クロスリージョン推論では必要となる
            aws_region_name: ap-northeast-1  # モデルが稼働しているリージョン
        # モデル定義2:(クロスリージョン推論の利用なし)
        - model_name:  sample-model-2
          litellm_params:
            model: bedrock/AAAA.BBBB-20250101-v1:0
            aws_region_name: ap-northeast-1
      
      general_settings:  # その他設定
        drop_params: true
      
      
      参考:筆者のconfig.yml
      model_list:
        # -------------------------------------------------------------------------------------
        # 1. Claude 4.5 Sonnet
        # -------------------------------------------------------------------------------------
        - model_name: claude-4.5-sonnet
          litellm_params:
            model: bedrock/jp.anthropic.claude-sonnet-4-5-20250929-v1:0
            model_id: arn:aws:bedrock:ap-northeast-1:{アカウントIDのため伏せる}:inference-profile/jp.anthropic.claude-sonnet-4-5-20250929-v1:0
            aws_region_name: ap-northeast-1
        # -------------------------------------------------------------------------------------
        # 2. Claude 3.5 Sonnet
        # -------------------------------------------------------------------------------------
        - model_name: claude-3.5-sonnet
          litellm_params:
            model: bedrock/anthropic.claude-3-5-sonnet-20240620-v1:0
            aws_region_name: ap-northeast-1
      
      general_settings:
        drop_params: true
      
      利用モデルのパラメータ「model」の確認法について マネジメントコンソールから「Amazon Bedrock」サービスにアクセスして、モデルカタログで利用対象モデルのモデルIDを確認してください。

      モデルカタログ
      選択モデル詳細

      利用モデルのパラメータ「model_id」の確認法について 画面左側メニューの「推論」内の「クロスリージョン推論」にアクセスして、モデルに対応した推論プロファイルの推論プロファイルARNを確認してください。

      推論プロファイル


    • docker-compose.yml
      docker-compose.ymlの中身は下記参照

      docker-compose.yml
      services:
        postgres:
          image: postgres:16-alpine
          container_name: litellm_postgres
          environment:
            POSTGRES_DB: litellm
            POSTGRES_USER: litellm
            POSTGRES_PASSWORD: litellm_password
          volumes:
            - postgres_data:/var/lib/postgresql/data
          restart: unless-stopped
          healthcheck:
            test: ["CMD-SHELL", "pg_isready -U litellm -d litellm"]
            interval: 10s
            timeout: 5s
            retries: 5
            
      litellm:
        image: ghcr.io/berriai/litellm:main-stable
        container_name: litellm_proxy
        depends_on:
          postgres:
            condition: service_healthy
        ports:
          - "4000:4000"
        volumes:
          - ./config.yml:/app/config.yml:ro
        env_file:
          - .env
        restart: unless-stopped
        command: ["--port=4000", "--host=0.0.0.0", "--config=/app/config.yml"]
      
      volumes:
        postgres_data:
      

  4. LiteLLMを起動して正常に動作することを確認します。

    docker compose up
    

    LiteLLM起動
    ※この画面になればOK (なぜかアスキーアート崩れてる)

  5. 設定した端末からhttp://<インスタンスのPublic IP>:4000にアクセスし、LiteLLMのGUIにアクセスできることを確認します。
    LiteLLM_GUIアクセス

    LiteLLMの管理者ダッシュボード LiteLLM Admin Panel on/uiをクリックすると管理者用のダッシュボードにアクセスできます。

    画像のようにログインが求められますが、デフォルトの設定を変更していなければ以下でログインできます。

    • UserName:admin
    • Password:.envで定めたMASTER_KEY

    管理者ダッシュボードログイン

    ログイン後はダッシュボードでユーザの利用状況を確認できます。

    管理者ダッシュボード


LiteLLMの疎通確認

MASTER_KEYを使ってLiteLLM上からBedrockに向けてリクエストを行い、LiteLLMがBedrockと疎通が取れているか確認します。

LiteLLMを起動中であることが前提

  1. litellmのディレクトリに移動し、Bedrockにリクエストを行います。
    curl http://localhost:4000/v1/chat/completions -H "Content-Type: application/json" \
    -H "Authorization: Bearer sk-XXX-YYY-key" \
    -d '{
      "model": "claude-4.5-sonnet",
      "messages": [{
        "role": "user",
        "content": "Hello, world!"
      }]
    }'
    
    リクエストに成功すると以下の画像のような応答が返ってきます。
    Bedrockリクエスト1

クライアント側からの疎通確認

クライアントは仮想キーを使ってLiteLLMにリクエストし、LiteLLMはマスターキーを用いてBedrockへそのリクエストを転送します。

[クライアント端末]
|
| 1. 仮想キーを使ってリクエスト
↓
[LiteLLM プロキシサーバー]
|
| 2. 仮想キーを検証
| (有効期限、コスト上限、アクセス権など)
|
| 3. 検証OKなら、保管しているマスターキー
| (AWS認証情報)を使ってリクエストを再構築
↓
[Amazon Bedrock]

仮想キーの発行

LiteLLMを起動中であることが前提

  1. litellmのディレクトリに移動し、仮想キーを発行します。
    仮想キー発行は以下コマンドを参考に実施してください。

    # 仮想キー発行のリクエスト書き方
    curl -X POST http://localhost:4000/key/generate \
    -H "Authorization: Bearer {.envで設定したMASTER_KEY}" \
    -H "Content-Type: application/json" \
    -d '{
      "models": ["利用するモデル名"], 
      "duration": "利用する期間",
      "metadata": {"user_id": "利用ユーザ名"}
    }' | jq
    --------------------------------------------------------
    # 参考:筆者の仮想キー発行リクエスト
    curl -X POST http://localhost:4000/key/generate -H "Authorization: Bearer sk-XXX-YYY-key" \
    -H "Content-Type: application/json" \
    -d '{
      "models": ["claude-4.5-sonnet"], 
      "duration": "1d", 
      "metadata": {"user_id": "test-user"}
    }' | jq
    

    リクエストに成功すると以下の画像のような応答が返ってきます。
    仮想キー発行リクエスト


クライアント端末からリクエスト

基本的にリクエスト文章の書き方は共通だが、Windows、Linux、Macでコマンドの記法(改行やjson)に微妙な違いがあるので要注意

  1. クライアント端末でターミナルを開き、リクエストを実施します。
    # クライアント端末からのリクエスト書き方
    curl http://<LiteLLMをホストしているインスタンスのPublic IP>:4000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -H "Authorization: Bearer <発行した仮想キー>" \
    -d '{
      "model": "仮想キー発行時に指定したモデル", 
      "messages": [{
        "role": "user", 
        "content": "リクエスト内容テキスト"
      }]
    }'
    --------------------------------------------------------
    # 参考:筆者のクライアント端末からのリクエスト
    curl http://18.183.192.198:4000/v1/chat/completions 
    -H "Content-Type: application/json" 
    -H "Authorization: Bearer sk-EVQo7qsi_5Iu4kWi_RSBOg" 
    -d '{
      "model": "claude-4.5-sonnet", 
      "messages": [{
        "role": "user", 
        "content": "Hello, world!"
      }]
    }'
    
    リクエストに成功すると以下の画像のような応答が返ってきます。
    Bedrockリクエスト2
    ここまで完了すればクライアント端末→LiteLLM→Bedrockの疎通完了です。
    お疲れ様でした。

まとめ

今回は次回の作業でPrivateサブネット内にLiteLLMのセットアップが完了したEC2を作成するためのカスタムAMIを作成する目的で、Publicサブネット内にLiteLLMをホストしてBedrockと疎通がとれるEC2インスタンスを作成しました。

また、今回はLiteLLMの機能を仮想キー発行しか利用しませんでしたが、リクエストログの管理、トークン数の利用状況確認・制限などもできるので、今後はこれらの機能も利用していきたいと考えています。


明日の投稿者の紹介

NTTテクノクロス Advent Calendar 2025:シリーズ2もいよいよ終盤!
明日は@makooooさんの記事が公開予定です!ぜひご覧ください!

次回予告

次回の記事にて、以下の項目を実施し、セキュアにBedrockが利用できる環境を構築していきます。

  • 今回構築したEC2からカスタムAMIを作成し、それを元にプライベートサブネットにEC2を構築
  • VPCエンドポイントを作成し、SSMの環境を構築
  • クライアント側からEC2にSSM接続を行い、プライベートサブネット内のEC2からBedrockにアクセス
  • etc...
11
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
11
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?