Glue(Jupyter Notebook)の実行クラス(execution class)を、FLEXに変更する方法

はじめに

re:Postにて、タイトルの事ができませんか？という質問があったので、試してみた内容を記事にしました。

"FLEX"の実行クラスについては、以下のページをご覧ください。

概要

CodeCommitを使う方法

• 一度、CodeCommitにPUSHさせてから、そこで編集して、PULLします
  • Glueからダウンロードをしても、"executionClass"の設定値は見つかりませんでした
  • magicでも、設定変更できませんでした。

# 変更できなかった。_を-に変えてもダメでした。
%%configure
{
    "execution_class" : "FLEX"
}

ダウンロードファイルを編集する方法

• 一度ダウンロードして、そこで編集して、アップロードします
  • 以下の2つを、"jobConfig"の下に定義します
    • "flexExecution": true
    • "minFlexWorkers": null
  • こちらもmagicでも、設定変更できませんでした。

# こちらも同様にダメでした。
%%configure
{
    "flex_execution" : "true",
    "min_flex_workers" : "null"
}

やり方

CodeCommitを使う方法

まずは、CodeCommitにPUSHします。

その後CodeCommit上で、"executionClass"の設定値を"FLEX"に変更します。

変更した内容をPULLしてきます。

[Job details]を見ると、チェックが入っていますので、変更できたのでしょう。

ジョブ実行すると、Execution classがFLEXになっています。

ダウンロードファイルを編集する方法

対象のJobをダウンロードします。

ダウンロードしたファイルを編集し、以下の2つを、"jobConfig"の下に定義します

• "flexExecution": true
• "minFlexWorkers": null
  

編集したファイルをアップロードします。

おわりに

今回はGlue Jupyter Notebookの設定変更を記事にしました。
他の方法や、magicでの変更方法がわかった方は是非教えてください。

おまけ

なんかGlueの画面が変わったような気がします。

またNotebookのデフォルトも変わっていました。ヘルプやいくつかの例が記述されている状態でした。