Glue JobでWorkerTypeが選べるようになりました
公式ドキュメントはこちら
設定箇所
"ジョブの追加"をクリック
ジョブプロパティで"セキュリティ設定...."をクリック
"Standard"、"G.1X"、"G2.X" から選ぶことができます。
- Standard:4vCPU, 16GBメモリ, 2Executor(ようは今までの)
- G.1X:4vCPU, 16GBメモリ, 1Executor, 64GBディスク(ようはExecutor1にしたよ)
- G.2X:8vCPU, 32GBメモリ, 1Executor, 128GBディスク(ようは2DPU)
上限(多分ソフトリミット)
- Standard DPU：100
- G.1X Worker数:299(Maximum capacity=300)
- G.2X Worker数:149(Maximum capacity=299)
Standardで実行したログ
core=4 なのでvCPU4
spark.executor.memory=5g なので1Executorあたり5GB
spark.dynamicAllocation.enabled=true なので(最大メモリが以下のように12GBで、1Exeあたり5.5GB(以下のmemory overhead足して))最大2Executor起動する(5.5GB*2 = 11GB <12GB でこれ以上はExecutor起動できない)
maximum memory capability (12288MB) なので最大12GB
512MB overhead なのでメモリ512MB上乗せ
G.1Xで実行したログ
core=8 なのでvCPU8?
spark.executor.memory=10g なので1Executorあたり10GB
spark.dynamicAllocation.enabled=true なので(最大メモリが以下のように12GBで、1Exeあたり11GB(以下のmemory overhead足して))最大1Executor起動する(11GB*1 < 12GB でこれ以上はExecutor起動できない)
spark.yarn.executor.memoryOverhead=2g なのでメモリ2GB上乗せ
maximum memory capability (12288MB) なので最大12GB
1024MB overhead なのでメモリ1024MB上乗せ(多分こっちで上書かれる)
G.2Xで実行したログ
core=16 なのでvCPU16?
spark.executor.memory=20g なので1Executorあたり20GB
spark.dynamicAllocation.enabled=true なので(最大メモリが以下のように24GBで、1Exeあたり2GB(以下のmemory overhead足して))最大1Executor起動する(22GB*1 < 24GB でこれ以上はExecutor起動できない)
spark.yarn.executor.memoryOverhead=4g なのでメモリ4GB上乗せ
maximum memory capability (24576MB) なので最大24GB
2048MB overhead なのでメモリ2048MB上乗せ(多分こっちで上書かれる)
こちらも是非
Glueの使い方まとめ
https://qiita.com/pioho07/items/32f76a16cbf49f9f712f