小規模なLLMを１つのコスト効率よく動かすにはどうすればいいのか気になったのでメモ

SageMakerではMulti-Model Endpoints（MME）が用意されており、このMMEにはNVIDIAのTriton Inference Server が活用されております。
by Run multiple deep learning models on GPU with Amazon SageMaker multi-m...

なお、SageMaker Multi-Container Endpoints（MCE）はGPUインスタンスを選ぶことができません。（2025/06/23現在）

Triton Inference Serverの機能、「Concurrent model execution」を利用することで同一モデルの複数インスタンスをGPU上に並列に立ち上げることができます。
Triton Inference Serverがモデルをロード・実行する際に必要な設定情報を記述するファイル config.pbtxt に instance_group を設定することで実現できます

例）
instance_group [
  {
    count: 2. # GPU 0上に2インスタンス
    kind: KIND_GPU
    gpus: [0]  
  },
  {
    count: 3
    kind: KIND_GPU
    gpus: [1, 2]  # GPU 1と2上に3インスタンスずつ
  }
]

また、同時に「Dynamic Batching」を利用することで複数の推論を１つのバッチに統合してスループットを向上させることができます。
Triton Inference Serverがモデルをロード・実行する際に必要な設定情報を記述するファイル config.pbtxt に dynamic_batching を設定することで実現できます

例）
dynamic_batching {
max_queue_delay_microseconds: 100   # 100ms毎にバッチ処理
}

Dynamic Batchingを利用した例

by https://docs.nvidia.com/deeplearning/triton-inference-server/user-guide/docs/tutorials/Conceptual_Guide/Part_2-improving_resource_utilization/README.html#what-is-dynamic-batching

Dynamic BatchingとConcurrent model executionを組み合わせた例

by https://docs.nvidia.com/deeplearning/triton-inference-server/user-guide/docs/tutorials/Conceptual_Guide/Part_2-improving_resource_utilization/README.html#concurrent-model-execution

以下パフォーマンス測定では、何もしていない状態と比べ4倍近くスループットが上昇しレイテンシも約70%改善しておりGPUをより効果的に利用しています

このことから、必要なGPUリソースが少ないモデルを推論するときは、モデルの必要なサイズに合わせるのではなくDynamic BatchingとConcurrent model executionを加味したインスタンス選定をすることでよりコスト効率の高い環境を用意することができます。

Qiita上の私の記事・コメントは個人的な意見に基づくものであり、所属する組織、団体とは一切関係ありません。