Help us understand the problem. What is going on with this article?

Glueの使い方的な㊳(WorkerTypeとは)

More than 1 year has passed since last update.

Glue JobでWorkerTypeが選べるようになりました

公式ドキュメントはこちら

https://aws.amazon.com/jp/about-aws/whats-new/2019/04/aws-glue-now-supports-additional-configuration-options-for-memory-intensive-jobs/

https://docs.aws.amazon.com/en_us/glue/latest/dg/add-job.html

設定箇所

"ジョブの追加"をクリック

スクリーンショット 0031-04-06 8.59.29.png

ジョブプロパティで"セキュリティ設定...."をクリック

スクリーンショット 0031-04-06 8.59.52.png

"Standard"、"G.1X"、"G2.X" から選ぶことができます。

  • Standard:4vCPU, 16GBメモリ, 2Executor(ようは今までの)
  • G.1X:4vCPU, 16GBメモリ, 1Executor, 64GBディスク(ようはExecutor1にしたよ)
  • G.2X:8vCPU, 32GBメモリ, 1Executor, 128GBディスク(ようは2DPU)

スクリーンショット 0031-04-06 7.35.00.png

上限(多分ソフトリミット)

  • Standard DPU:100
  • G.1X Worker数:299(Maximum capacity=300)
  • G.2X Worker数:149(Maximum capacity=299)

Standardで実行したログ

core=4 なのでvCPU4
spark.executor.memory=5g なので1Executorあたり5GB
spark.dynamicAllocation.enabled=true なので(最大メモリが以下のように12GBで、1Exeあたり5.5GB(以下のmemory overhead足して))最大2Executor起動する(5.5GB*2 = 11GB <12GB でこれ以上はExecutor起動できない)

maximum memory capability (12288MB) なので最大12GB
512MB overhead なのでメモリ512MB上乗せ

スクリーンショット 0031-04-06 9.17.13.png

G.1Xで実行したログ

core=8 なのでvCPU8?
spark.executor.memory=10g なので1Executorあたり10GB
spark.dynamicAllocation.enabled=true なので(最大メモリが以下のように12GBで、1Exeあたり11GB(以下のmemory overhead足して))最大1Executor起動する(11GB*1 < 12GB でこれ以上はExecutor起動できない)
spark.yarn.executor.memoryOverhead=2g なのでメモリ2GB上乗せ

maximum memory capability (12288MB) なので最大12GB
1024MB overhead なのでメモリ1024MB上乗せ(多分こっちで上書かれる)

スクリーンショット 0031-04-06 9.42.58.png

G.2Xで実行したログ

core=16 なのでvCPU16?
spark.executor.memory=20g なので1Executorあたり20GB
spark.dynamicAllocation.enabled=true なので(最大メモリが以下のように24GBで、1Exeあたり2GB(以下のmemory overhead足して))最大1Executor起動する(22GB*1 < 24GB でこれ以上はExecutor起動できない)
spark.yarn.executor.memoryOverhead=4g なのでメモリ4GB上乗せ

maximum memory capability (24576MB) なので最大24GB
2048MB overhead なのでメモリ2048MB上乗せ(多分こっちで上書かれる)

スクリーンショット 0031-04-06 9.51.21.png

こちらも是非

Glueの使い方まとめ
https://qiita.com/pioho07/items/32f76a16cbf49f9f712f

pioho07
こちらに記載の内容は所属会社とは関係ありませぬ。
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
No comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
ユーザーは見つかりませんでした