AWS Batchについて試してみた

Posted at 2024-04-04

背景・目的

今まで、AWS Batchについて触ったことがなかったため、整理してみます。

まとめ

特徴	説明
概要	・バッチコンピューティングワークロードを実行できる・下記を提供する　・リソースのプロビジョニング　・キャパシティ制限の排除　・コスト削減　・結果の迅速な提供
AWS　Batchのコンポーネント	・リージョン内の複数のAZ間で実行中のバッチジョブを簡略化する・VPC内に環境を作成できる・ジョブキューに関連付けられた後で、ジョブを実行する・Dockerコンテナイメージを指定するジョブ定義を指定できる
ジョブ	・ジョブ定義で指定したパラメータを使用して、コンピューティング環境でコンテナ化されたアプリとしてFargate、EC2リソースで実行される・ジョブは、他のジョブを名前またはIDで参照できる・他のジョブの正常な完了に依存する場合もある
ジョブ定義	・ジョブ定義とは、ジョブの実行方法を指定する・ジョブ定義は、ジョブのリソースのブループリント・ジョブにIAMロールを指定することができる・メモリとCPUを指定できる・永続的なストレージのコンテナのプロパティ、環境変数、マウントポイントを制御できる・個別のジョブを送信する時に新しい値を指定してオーバーライドできる
ジョブキュー	・1つのジョブキューには、1つ以上のコンピューティング環境を関連付けることができる・優先度を割り当てられる。複数のジョブキュー自体にまたがって割り当てられる・高優先度キューや低優先度キューを持つことができる
コンピューティング環境	・JOBを実行するために使用されるマネージドまたは、アンマネージドコンピューティングリソースのセット・マネージドコンピューティングタイプは、Fargate、EC2を指定できる・コンピューティング環境は、EC2インスタンスタイプや特定のモデルを使用するように設定できる

概要

AWS Batchとは？を元に整理します。

AWS Batch を使用すると、AWS クラウドでバッチコンピューティングワークロードを実行できます。バッチコンピューティングは、開発者、科学者、エンジニアが大量のコンピューティングリソースにアクセスするための一般的な方法です。AWS Batch は、従来のバッチコンピューティングソフトウェアと同様に、必要なインフラストラクチャの設定および管理に伴う、差別化につながらない力仕事を排除します。このサービスでは、送信されたジョブに応じてリソースを効率的にプロビジョニングし、キャパシティー制限の排除、コンピューティングコストの削減、および結果の迅速な提供を行うことができます。

AWS Batch はフルマネージドサービスであり、あらゆるスケールのバッチコンピューティングワークロードを実行できます。AWS Batch は、コンピューティングリソースを自動的にプロビジョニングし、ワークロードの量と規模に基づいてワークロードのディストリビューションを最適化します。AWS Batch を使うと、バッチコンピューティングソフトウェアのインストールや管理が不要になり、結果の分析と問題の解決に集中できます。

バッチコンピューティングワークロードを実行できる
下記を提供する
- リソースのプロビジョニング
- キャパシティ制限の排除
- コスト削減
- 結果の迅速な提供

AWS Batch のコンポーネント

AWS Batch は、リージョン内の複数のアベイラビリティーゾーン間で実行中のバッチジョブを簡略化します。新規または既存の VPC 内に AWS Batch コンピューティング環境を作成できます。コンピューティング環境が稼働し、ジョブキューに関連付けられた後で、ジョブを実行する Docker コンテナイメージを指定するジョブ定義を指定できます。コンテナのイメージは、コンテナレジストリに保存され引き出されます。これは AWS インフラストラクチャの内にある場合も外にある場合もあります。

リージョン内の複数のAZ間で実行中のバッチジョブンを簡略化する
VPC内に環境を作成できる
ジョブキューに関連付けられた後で、ジョブを実行する
Dockerコンテナイメージを指定するジョブ定義を指定できる

ジョブ

AWS Batch に送信する作業単位 (シェルスクリプト、Linux 実行可能ファイル、Docker コンテナイメージなど)。ジョブには名前を付けます。ジョブは、ジョブ定義で指定したパラメーターを使用して、コンピューティング環境でコンテナ化されたアプリケーションとして AWS Fargate または Amazon EC2 リソースで実行されます。ジョブは、他のジョブを名前または ID で参照できます。また、他のジョブの正常な完了に依存する場合があります。詳細については、ジョブを参照してください。

ジョブ定義で指定したパラメータを使用して、コンピューティング環境でコンテナ化されたアプリとしてFargate、EC2リソースで実行される
ジョブは、他のジョブを名前またはIDで参照できる
他のジョブの正常な完了に依存する場合もある

ジョブ定義

ジョブ定義は、ジョブの実行方法を指定します。ジョブ定義は、ジョブのリソースのブループリントであると考えることができます。他の AWS リソースへのアクセスを提供するために、ジョブに IAM ロールを指定することができます。また、メモリ要件と CPU 要件の両方を指定できます。また、ジョブ定義では、永続的ストレージのコンテナのプロパティ、環境変数、マウントポイントを制御できます。ジョブ定義の多くの仕様は、個別のジョブを送信するときに新しい値を指定してオーバーライドできます。詳細については、ジョブ定義を参照してください。

ジョブ定義とは、ジョブの実行方法を指定する
ジョブ定義は、ジョブのリソースのブループリント
ジョブにIAMロールを指定することができる
メモリとCPUを指定できる
永続的なストレージのコンテナのプロパティ、環境変数、マウントポイントを制御できる
個別のジョブを送信する時に新しい値を指定してオーバーライドできる

ジョブキュー

AWS Batch ジョブを送信するときは、コンピューティング環境にスケジュールされるまでそのジョブが存在する、特定のジョブキューに送信します。1 つのジョブキューには、1 つ以上のコンピューティング環境を関連付けることができます。これらのコンピューティング環境には優先度の値を割り当てることができ、複数のジョブキュー自体にまたがって割り当てることもできます。たとえば、時間が重要なジョブを送信する高優先度キューや、コンピューティングリソースが安価であるときにいつでも実行できるジョブ用の低優先度キューを持つことができます。

1つのジョブキューには、1つ以上のコンピューティング環境を関連付けることができる
優先度を割り当てられる。複数のジョブキュー自体にまたがって割り当てられる
高優先度キューや低優先度キューを持つことができる

コンピューティング環境

コンピューティング環境は、ジョブを実行するために使用されるマネージドまたはアンマネージドコンピューティングリソースのセットです。マネージド型のコンピューティング環境では、複数の詳細レベルで目的のコンピューティングタイプ (Fargate または EC2) を指定できます。コンピューティング環境は、特定の EC2 インスタンスタイプや特定のモデル (c5.2xlarge や m5.10xlarge など) を使用するように設定できます。または、最新のインスタンスタイプを使用するように指定することのみを選択できます。また、環境の vCPU の最小数、希望数、最大数を、スポットインスタンスに対して支払う金額と共に、オンデマンドインスタンスの価格と一連のターゲット VPC サブネットの割合として指定できます。AWS Batch によって必要に応じてコンピューティングタイプの起動、管理、終了が効率的に行われます。お客様独自のコンピューティング環境を管理することもできます。その場合は、ユーザー自身が AWS Batch によって作成される Amazon ECS クラスターでインスタンスの設定とスケーリングを行う必要があります。詳細については、コンピューティング環境を参照してください。