AWS Glue Flexオプション

AWS Glueでは2022/08/09にFlexタイプのジョブ実行モードというのが追加されました。
FlexタイプのジョブはEC2のスポットインスタンスのような非占有型のコンピュートキャパシティ上で動作します。
そのため、リソースの使用状況に応じてジョブの開始に時間がかかる場合などがありますが、その分コスト的には通常のジョブに比べ安価になっています。
テスト用途のジョブや実行時間の制約の緩い夜間のバッチジョブなどでコストを安価に抑えながらジョブを実行できるオプションになります。

Flexオプションのコスト

2022年11月現在、東京リージョンではFlexオプションは通常のジョブに比べ最大34%のコスト削減効果があります。

通常	Flex
$0.44 per DPU-Hour	$0.29 per DPU-Hour

Flexオプションの特徴

FlexオプションはGlue 3.0またはそれ以降のバージョンのETLジョブで利用可能です。
また、Flexオプションを有効にした場合は以下のような形でジョブが動作します。

ジョブ実行時に確保できるリソースがある場合は速やかにジョブが開始されるが、リソースが不足している場合はWAITING状態に遷移する
WAITING状態は最大20分。WAITING状態に遷移してから15分後に確保可能なリソース量でジョブを実行開始する。
ジョブ実行中であってもリソース量の増減は発生する可能性がある
確保されたリソース量のみに課金が発生する。すなわちWAITING状態の時は課金は発生しない

Flexオプションの有効化方法

Glue Studioでの有効化方法を記載します。
Glue Studioのジョブ作成画面のJob DetailsでFlex executionのチェックボックスをチェックすることでFlexオプションが有効化されます。Flexオプションは既存のジョブであっても有効化することが可能です。