はじめに
2026 年 10 月 27 日、Amazon ECS が NVIDIA Multi-Process Service (MPS) による GPU 共有に対応したことが発表されました。1 つの GPU 上で複数の ECS タスクを同時に実行できるようになるアップデートです。
小規模なモデルの推論や埋め込みベクトルの生成のように、GPU の能力を使い切らないワークロードでも、これまでは GPU を 1 枚まるごと割り当てる運用になりがちでした。使われないまま残った分は、そのままコストになります。
この記事では、今回の発表で何が変わったのかを整理したうえで、仕組みと設定方法、活用シーンを見ていきます。タスク単位の GPU 使用率メトリクスが取得できなくなる点など、導入前に知っておきたい注意点も取り上げます。
何が変わったのか
今回のアップデートで、ECS は 1 つの NVIDIA GPU を複数のタスクで共有できるようになりました。これまでの GPU の扱いと比べると、次の 2 点が変わっています。
| 観点 | 従来 | 今回のアップデート後 |
|---|---|---|
| GPU の割り当て | コンテナが GPU を専有する | 複数のタスクが 1 つの GPU を同時に使える |
| 必要量の指定 | GPU の枚数で指定する | GPU メモリ量を指定する(GPU の計算量の上限も任意で指定できる) |
タスク定義のコンテナ定義に必要な GPU メモリ量を書いておくと、ECS が空きのある GPU を選んでタスクを配置します。サービスのスケールやデプロイのときも同様です。発表では、アプリケーションコードの変更も不要とされています。
対象となる環境
リージョンは、AWS の全商用リージョンと AWS GovCloud (US) が対象です。環境ごとの対応は次のとおりです。
| 環境 | GPU 共有 |
|---|---|
| Amazon ECS Managed Instances | 対応 |
| Amazon ECS on Amazon EC2 | 対応 |
| AWS Fargate | 非対応 |
| Amazon ECS Express Mode | 非対応 |
| Amazon ECS Managed Daemon Tasks | 非対応 |
Amazon ECS Anywhere(EXTERNAL 互換性が必要なタスク定義) |
非対応 |
Managed Instances では、ECS が各インスタンスの GPU と MPS コントロールデーモンの状態を監視します。GPU のハードウェア障害やデーモンの障害を検知すると、インスタンスをドレインして置き換え、タスクを正常なキャパシティへ移します。EC2 上の ECS については、発表にこの動作の記載はありません。
アーキテクチャ解説
MPS とは
GPU には、異なる CUDA コンテキスト(プロセスごとに作られる GPU の実行環境)の処理を、時分割で切り替えるスケジューラがあります。異なるコンテキストの処理は同時には実行できないため、1 つのプロセスの処理が小さいと、GPU の計算リソースが使い切られないことがあります。
NVIDIA Multi-Process Service (MPS) は、複数のプロセスを同じ GPU 上で同時に実行できるようにする NVIDIA CUDA の機能です。GPU の利用率が上がり、コンテキスト切り替えのオーバーヘッドも減らせます。
ECS が行うこと
ECS は、GPU インスタンス上で MPS デーモンを起動し、GPU メモリの空きを基準にコンテナを GPU へ配置して、コンテナごとの上限を適用します。メモリの上限は環境変数 CUDA_MPS_PINNED_DEVICE_MEM_LIMIT で、計算量の上限は CUDA_MPS_ACTIVE_THREAD_PERCENTAGE で、ECS がコンテナに設定します。計算量の上限を指定しなかった場合、後者は設定されず、インスタンス上の MPS サーバーの既定値(100%)が適用されます。
配置のルールは次のとおりです。
- ECS が配置の判断に使うのは GPU メモリだけで、計算量の上限は考慮されません。
- タスク内に GPU を使うコンテナが複数ある場合、ECS はそれらが要求する GPU メモリを合計し、その分の空きがある GPU を探します。同じタスクのコンテナは、すべて同じ物理 GPU に配置されます。
- 空きメモリがある限り、別のタスクも同じ GPU に載ります。
- 共有する GPU を使うタスクと専有する GPU を使うタスクは、同じインスタンス上で動かせますが、載る GPU は別々になります。
mps-a と mps-b は同じタスクのコンテナです。図の数値は、次に示すレスポンス例に合わせた例示です。
共有状況を CLI で確認する
GPU が実際に共有されているかどうかは、DescribeContainerInstances API で確認できます。レスポンスの gpuDevices に、GPU ごとの共有モード、コンテナ数、残りのメモリが含まれます。
aws ecs describe-container-instances \
--cluster <cluster-name> \
--container-instances <container-instance-id>
公式ドキュメントに載っているレスポンス例は次のとおりです(一部抜粋)。
{
"containerInstances": [
{
"ec2InstanceId": "i-0c74b75400ab4228d",
"runningTasksCount": 1,
"gpuDevices": [
{
"gpuId": "GPU-70d3bdaf-8635-81e0-8e44-446248a92c83",
"sharingMode": "NVIDIA_MPS",
"totalMemoryInMiB": 22587,
"remainingMemoryInMiB": 16587,
"containerCount": 2
}
]
}
]
}
sharingMode が NVIDIA_MPS なら、その GPU は MPS で共有されています。この例では、総メモリ 22,587 MiB のうち 6,000 MiB が 2 つのコンテナに割り当て済みで、16,587 MiB が残っています。
読み取るときの注意点が 3 つあります。
-
totalMemoryInMiBは ECS エージェントが報告した、コンテナが使えるメモリの量で、GPU の公称値より小さいことがあります。 -
remainingMemoryInMiBは、ECS が各コンテナに割り当てたメモリから計算した値で、コンテナが実際に使っている量ではありません。 -
containerCountは ECS が割り当てたコンテナの数で、GPU 上で動いているプロセスの数ではありません。
タスク側からは、DescribeTasks API で確認できます。コンテナごとの gpuSharingStrategy にメモリと計算量の上限が、gpuIds に載っている GPU の ID が表示されます。同じ GPU を共有するコンテナには、同じ値が入ります。
使えなくなるメトリクス
MPS で共有している GPU では、タスクごと・コンテナごとの GPU 使用率とメモリ関連のメトリクスが出力されません。出力されないのは、TaskGPUUtilization と ContainerGPUUtilization、TaskGPUMemoryUtilization と ContainerGPUMemoryUtilization、TaskGPUMemoryTotal と ContainerGPUMemoryTotal、TaskGPUMemoryUsed と ContainerGPUMemoryUsed です。
引き続き利用できるのは、消費電力、温度、TaskGPURestartAppXidCount などのタスク・コンテナ単位のメトリクスと、InstanceGPUUsageTotal や InstanceGPULimit といったインスタンス単位のメトリクスです。
出力されないメトリクスを使った CloudWatch アラームがある場合は、注意が必要です。アラームの欠損データの扱いは、missing、ignore、breaching、notBreaching から選べます。既定の missing では、評価範囲のデータ点がすべて欠損するとアラームは INSUFFICIENT_DATA になり、notBreaching では OK のままになります。どの設定でも、GPU 使用率の実際の上昇は検知できないため、共有を有効にする前にアラームの対象を見直しておく必要があります。
代わりの手段としては、インスタンス単位のメトリクスで GPU の使用状況を把握する方法があります。DescribeContainerInstances の remainingMemoryInMiB を定期的に取得して、GPU メモリの割り当ての空きを把握する方法も考えられますが、前述のとおり実際のメモリ使用量は分かりません。タスクごとの GPU の使い方を細かく見たい場合は、アプリケーション側で計測する仕組みが必要です。
設定方法
設定の流れは次のとおりです。NVIDIA GPU インスタンスを使うキャパシティプロバイダーを用意し、タスク定義のコンテナ定義で GPU 共有を設定し、そのキャパシティプロバイダー上にサービスを作成します。
事前準備
GPU 共有は、G4dn、G5、G6、G6e、G7、G7e、P3、P4d、P5、P5e、P5en、P6-B200 のインスタンスファミリーで利用できます。
Amazon ECS on Amazon EC2 では、対応する NVIDIA GPU インスタンスを Amazon ECS AL2023 GPU 最適化 AMI で起動します。ECS コンテナエージェントは 1.107.0 以降、AMI はバージョン 20261019 以降が必要です。Managed Instances では、公式ドキュメントにこのバージョン要件の記載はありません。
タスク定義の設定
コンテナ定義の resourceRequirements で、専有 GPU を指定する value の代わりに sharingStrategy を指定します。sharingStrategy の中の nvidiaMps には、次の 2 つの項目があります。
| 項目 | 必須 | 内容 |
|---|---|---|
memory |
必須 | コンテナが使える GPU メモリの上限(MiB)。0 より大きい値を指定する。厳密な上限として扱われる |
maxComputePercent |
任意 | コンテナが使える GPU 計算量の最大割合(1〜100 の整数)。省略すると 100 として扱われる。予約ではなく上限で、アイドル中の計算リソースは同じ GPU 上の他のコンテナが使える |
GPU の総メモリは、DescribeContainerInstances API の totalMemoryInMiB で確認できます。インスタンスタイプの仕様から調べることもできます。
次は、公式ドキュメントのタスク定義例から、GPU 共有に関わる部分を抜粋したものです。
"containerDefinitions": [
{
"name": "model-a",
"resourceRequirements": [
{
"type": "GPU",
"sharingStrategy": {
"nvidiaMps": { "memory": 12288, "maxComputePercent": 50 }
}
}
]
}
]
この例では、model-a が 12,288 MiB の GPU メモリを要求しています。同じタスクに、8,192 MiB を要求するもう 1 つのコンテナを加えた場合、ECS は同じタスク内の要求を合計して、20,480 MiB 以上の空きがある GPU を配置先に選びます。なお、タスク定義の requiresCompatibilities は、Managed Instances の場合は MANAGED_INSTANCES、EC2 の場合は EC2 を指定します。
設定時には、次のルールにも注意が必要です。
- 1 つの GPU 要求に
valueとsharingStrategyの両方は指定できません。 - 同じタスク内の GPU コンテナは、すべて同じ共有方式にそろえる必要があります。
-
sharingStrategyはRunTaskやStartTaskのコンテナオーバーライドでは指定できないため、タスク定義に書いておきます。 - ECS が自動で設定する前述の環境変数は、自分で設定しないでください。
サービスの作成
タスク定義を登録したら、NVIDIA GPU インスタンスを使うキャパシティプロバイダー上にサービスを作成します。タスクが起動したら、DescribeContainerInstances で、sharingMode が NVIDIA_MPS になっていることと、containerCount と remainingMemoryInMiB が想定どおりであることを確認します。
活用シーン
GPU 共有が向くのは、1 つのタスクが GPU の能力を使い切らないワークロードです。
| ワークロード | 向いている理由 |
|---|---|
| 小規模モデルの推論 | モデルごとに必要なメモリを指定して、1 枚の GPU に複数のモデルを集約できる |
| マルチモデルサービング | 役割の異なる複数のモデルをコンテナで分け、メモリと計算量の上限をそれぞれ設定して分け合える |
| 埋め込み生成 | GPU を使い切らない処理を、複数のタスクで 1 つの GPU に集約できる |
| AV/ADAS シミュレーション | GPU の一部しか使わないシミュレーションを 1 つの GPU にまとめ、密度を高められる |
| 開発・テスト環境 | 複数の軽量な GPU ワークロードを同じハードウェアに載せられる |
注意点
専有とは性質が異なる点がいくつかあります。メトリクスについては、前述の「使えなくなるメトリクス」を確認してください。
分離はソフトウェアレベル
MPS は、メモリと計算量の上限をコンテナごとに設定できますが、ハードウェアで GPU を分割するわけではありません。同じ GPU 上のコンテナは、同じ CUDA コンテキストを共有します。
このため、あるコンテナで致命的な GPU エラー(不正なカーネルによる不正なメモリアクセスなど)が起きると、同じ物理 GPU を共有する他のコンテナにも影響が及ぶ可能性があります。同じインスタンス上でも、別の GPU のコンテナは影響を受けません。NVIDIA のドキュメントでも、MPS ではクライアント間のエラー分離はなく、メモリ帯域やキャッシュも共有されると説明されています。
公式ドキュメントでは、次のようなワークロードには向かないとされています。GPU メモリ全体を必要とする大規模モデルの学習、近隣のコンテナの GPU エラーの影響を避けたいワークロード、プロセス間でハードウェアレベルの分離が必要なワークロードです。
参考までに、GPU を共有する主な方式の違いを整理します。今回 ECS が対応したのは MPS です。
| 方式 | 分離の強さ | 特徴 |
|---|---|---|
| time-slicing | メモリ・計算量とも分離されない | GPU の CUDA スケジューラが処理を時分割で切り替える。ソフトウェアのみで動作し、AWS 上のすべての NVIDIA GPU インスタンスタイプで使える |
| MPS | ソフトウェアレベル | コンテナごとにメモリと計算量の上限を設定できる |
| MIG | ハードウェアレベル | 1 枚の物理 GPU を、専用のメモリとコンピュートユニットを持つ複数のインスタンスに分割する。A100 や H100 などが対象で、G5、G6、G6e は非対応 |
time-slicing と MIG の特徴は、Amazon EKS のドキュメントの記述にもとづくもので、ECS で利用できるという意味ではありません。
メモリと計算量の指定
メモリの指定値は厳密な上限で、配置の判断にも使われます。実際の使用量に余裕を持たせた値を指定してください。maxComputePercent は配置の判断に使われず、予約でもないため、計算量が保証されるわけではありません。コンテナがアイドル状態のときは、その計算リソースを同じ GPU 上の他のコンテナが使えます。
異なるサービスのタスクが同じ GPU に載る
同じキャパシティプロバイダーを使っていれば、異なるサービスのタスクが同じ GPU に配置されることがあります。サービス間で GPU を共有させたくない場合は、サービスごとにキャパシティプロバイダーまたはクラスターを分けます。
1 コンテナ 1 GPU プロセスが前提
GPU 共有では、1 つのコンテナで GPU を使うプロセスは 1 つにする使い方が前提です。複数の GPU プロセスを動かすアプリケーションでは、すべてのプロセスの最大使用量の合計をもとに memory を設定し、アプリケーション側で合計がその値に収まるように制御する必要があります。設定値を超えて GPU メモリを使うと、メモリの競合が起きる可能性があります。
発表では「アプリケーションコードの変更は不要」とされていますが、アプリケーションの GPU の使い方によっては、設計の見直しが必要になる場合があります。
まとめ
今回のアップデートで、ECS でも 1 つの NVIDIA GPU を複数のタスクで共有できるようになりました。小規模な推論や埋め込み生成のように GPU を使い切らないワークロードでは、GPU の台数を抑えながら利用率を高められる可能性があります。
ただし、MPS による共有はソフトウェアレベルの共有です。強い分離が必要な用途や大規模な学習には向かず、タスク単位の GPU 使用率メトリクスも取得できなくなります。
導入を検討する場合は、まず既存の GPU アラームがどのメトリクスを使っているかを確認してください。そのうえで、GPU の使用量が小さいワークロードから始め、memory の値とタスクの密度を調整していくとよいでしょう。
参考リンク
- Amazon ECS now supports GPU sharing with NVIDIA Multi-Process Service (MPS)
- Share GPUs on Amazon ECS - Amazon ECS Developer Guide
- GpuDevice - Amazon ECS API Reference
- Configuring how CloudWatch alarms treat missing data - Amazon CloudWatch User Guide
- Use time-slicing with NVIDIA GPUs on Amazon EKS - Amazon EKS User Guide
- Use multi-instance GPUs (MIG) with NVIDIA GPUs on Amazon EKS - Amazon EKS User Guide
- Multi-Process Service - NVIDIA Documentation
- Architecture - Multi-Process Service - NVIDIA Documentation