Qiita Teams that are logged in
You are not logged in to any team

Log in to Qiita Team
Community
OrganizationEventAdvent CalendarQiitadon (β)
Service
Qiita JobsQiita ZineQiita Blog
3
Help us understand the problem. What is going on with this article?

More than 1 year has passed since last update.

@pioho07

Glueの使い方的な㊳(WorkerTypeとは)

Glue JobでWorkerTypeが選べるようになりました

公式ドキュメントはこちら

設定箇所

"ジョブの追加"をクリック

スクリーンショット 0031-04-06 8.59.29.png

ジョブプロパティで"セキュリティ設定...."をクリック

スクリーンショット 0031-04-06 8.59.52.png

"Standard"、"G.1X"、"G2.X" から選ぶことができます。

  • Standard:4vCPU, 16GBメモリ, 2Executor(ようは今までの)
  • G.1X:4vCPU, 16GBメモリ, 1Executor, 64GBディスク(ようはExecutor1にしたよ)
  • G.2X:8vCPU, 32GBメモリ, 1Executor, 128GBディスク(ようは2DPU)

スクリーンショット 0031-04-06 7.35.00.png

上限(多分ソフトリミット)

  • Standard DPU:100
  • G.1X Worker数:299(Maximum capacity=300)
  • G.2X Worker数:149(Maximum capacity=299)

Standardで実行したログ

core=4 なのでvCPU4
spark.executor.memory=5g なので1Executorあたり5GB
spark.dynamicAllocation.enabled=true なので(最大メモリが以下のように12GBで、1Exeあたり5.5GB(以下のmemory overhead足して))最大2Executor起動する(5.5GB*2 = 11GB <12GB でこれ以上はExecutor起動できない)

maximum memory capability (12288MB) なので最大12GB
512MB overhead なのでメモリ512MB上乗せ

スクリーンショット 0031-04-06 9.17.13.png

G.1Xで実行したログ

core=8 なのでvCPU8?
spark.executor.memory=10g なので1Executorあたり10GB
spark.dynamicAllocation.enabled=true なので(最大メモリが以下のように12GBで、1Exeあたり11GB(以下のmemory overhead足して))最大1Executor起動する(11GB*1 < 12GB でこれ以上はExecutor起動できない)
spark.yarn.executor.memoryOverhead=2g なのでメモリ2GB上乗せ

maximum memory capability (12288MB) なので最大12GB
1024MB overhead なのでメモリ1024MB上乗せ(多分こっちで上書かれる)

スクリーンショット 0031-04-06 9.42.58.png

G.2Xで実行したログ

core=16 なのでvCPU16?
spark.executor.memory=20g なので1Executorあたり20GB
spark.dynamicAllocation.enabled=true なので(最大メモリが以下のように24GBで、1Exeあたり2GB(以下のmemory overhead足して))最大1Executor起動する(22GB*1 < 24GB でこれ以上はExecutor起動できない)
spark.yarn.executor.memoryOverhead=4g なのでメモリ4GB上乗せ

maximum memory capability (24576MB) なので最大24GB
2048MB overhead なのでメモリ2048MB上乗せ(多分こっちで上書かれる)

スクリーンショット 0031-04-06 9.51.21.png

こちらも是非

Glueの使い方まとめ
https://qiita.com/pioho07/items/32f76a16cbf49f9f712f

3
Help us understand the problem. What is going on with this article?
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
3
Help us understand the problem. What is going on with this article?