Help us understand the problem. What is going on with this article?

AWS Glue の Python shell アイデア集

More than 1 year has passed since last update.

Glue Python shell なにそれおいしいの?

Glue上で動く時間制限がないLambda(python)みたいなもの ?
サーバーレス ?
おもろいジョブフロー作れそう ?
Jupyter Notebookでなにかおもしろいことやれる ?
1回の実行で0.05円 ?

Glue Python shell ネタを集めたい

おもしろいネタ
実用的なネタ
ちょっとした小ネタ
作った方いらしたら是非お気軽にコメントなどでご連絡ください。リンクをはらせてください。

ネタ集

1.Sparkジョブで出力された長い名前のファイル名をPython Shellでリネーム

2.AWS GlueのPython Shellジョブを使ってGlue Crawlerを呼ぶ

3.データの移動
https://aws.amazon.com/jp/blogs/big-data/our-data-lake-story-how-woot-com-built-a-serverless-data-lake-on-aws/
GlueがS3にデータを書き込んでいる間にユーザーがそのテーブルをクエリした場合、長時間実行されるジョブの中には読み取りの不一致が発生するものがあります。 AWS GlueジョブをSparkを使用して一時ディレクトリに書き込むように変更し、次にboto3を使用してファイルを所定の場所に移動しました。これにより、読み取りの不整合が最大90パーセント減少しました

4.python shellでジョブフロー
安定のクラメソさんのブログ。Redshiftの集計〜Glueのジョブ〜パーティションの追加といった一連の処理を、ETLパイプラインとしてまとめることができます

5.python shellだけでRDS->S3
コネヒトさんで、Glueのpython shellのみを使ったETL。データ量に応じて適切な処理エンジン選ばれてます

こちらも是非

Glueの使い方まとめ
https://qiita.com/pioho07/items/32f76a16cbf49f9f712f

pioho07
こちらに記載の内容は所属会社とは関係ありませぬ。
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
No comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
ユーザーは見つかりませんでした