最近AWSのGlueを使ったETLを作って実行してみました。単純なCSVをRDSにインサートするだけの処理だったので非常に軽いジョブです。何度かジョブの成功失敗を繰り返し、翌日請求ページで確認したら1000円くらいの課金になっていました。ほとんどCPUを使わないはずなのになぜ？？？と思い、調べたところデフォルト値が不親切だったのでそのメモです。
Glueとは
プログラミングレスでETLジョブやデータカタログを作成できるAWSのフルマネージドサービスです。CSVをそのままRDBにインサートするだけであれば、ウィザードに沿ってポチポチ押していけばできちゃいます。
Glueジョブの料金体系
公式ページより
ちょっと分かりにくいですが、DPUがCPUみたいなものでデフォルト10、軽いジョブを実行しても最小10分が課金対象となるので0.44USD × 10DPU × 10/60時間 = 0.733USD
どんなに軽いジョブでも1回あたり100円弱かかるということです。
Glueのデフォルト値
ジョブ作成の画面では以下のように「セキュリティ設定、スクリプトライブラリおよびジョブパラメータ (任意)」が閉じられています。
これを開くとわかりますが、最大容量が10になってます。何も知らずにウィザードを進めていくとデフォルト10になってしまいます。
対策
DPUは最小2に設定できるのでジョブ作成の時に「セキュリティ設定、スクリプトライブラリおよびジョブパラメータ (任意)」を開いて2に設定すれば1ジョブあたり20円弱に抑えられます。
