AWS
Spark
glue

Glueの使い方的な⑧(アップデート履歴)

自分のための履歴

抜け漏れあるかもなので参考程度に

なんとGlueのメニューにWhat'sNewが追加されてた(20180206)

もうこのQiitaいらないじゃんw

スクリーンショット 0030-02-08 8.32.02.png

履歴

20170815:Glue GA
https://aws.amazon.com/jp/blogs/news/launch-aws-glue-now-generally-available/

20170929:Supports Filter and Map transforms
https://aws.amazon.com/jp/about-aws/whats-new/2017/09/aws-glue-now-supports-filter-and-map-transforms/

2017101x:ジョブ中断できる

2017102x:New map filter
http://docs.aws.amazon.com/ja_jp/glue/latest/dg/aws-glue-api-crawler-pyspark-transforms-filter.html

20171024:CFn対応
https://aws.amazon.com/jp/about-aws/whats-new/2017/10/aws-glue-can-now-be-configured-using-aws-cloudformation-templates/

20171107:CloudTrail対応
https://aws.amazon.com/about-aws/whats-new/2017/11/aws-glue-api-calls-are-now-recorded-and-available-in-aws-cloudtrail/

20171221:アイルランドリージョンでリリース
https://aws.amazon.com/jp/about-aws/whats-new/2017/12/aws-glue-is-now-available-in-the-eu-ireland-aws-region/

20171223:東京リージョンリリース
https://aws.amazon.com/jp/about-aws/whats-new/2017/12/aws-glue-is-now-available-in-the-asia-pacific-tokyo-aws-region/

201801xx:View機能(Glue-Tablesの右上の"SaveView"があり検索条件を保存する機能)

スクリーンショット 0030-01-13 19.12.39.png

20180112:Scalaリリース
https://aws.amazon.com/jp/blogs/big-data/aws-glue-now-supports-scala-scripts/

20180112:Trigerイベント追加
https://aws.amazon.com/jp/about-aws/whats-new/2018/01/aws-glue-now-supports-additional-job-events-as-trigger-conditions/

20180328:シドニー、フランクフルトリージョンリリース
https://aws.amazon.com/jp/about-aws/whats-new/2018/03/aws-glue-is-now-available-in-the-asia-pacific-sydney-and-eu-frankfurt-aws-regions/

20180401:シンガポールリージョンリリース、うそじゃない
https://aws.amazon.com/jp/about-aws/whats-new/2018/04/aws-glue-is-now-available-in-the-asia-pacific-singapore-aws-region/

20180411:Spark2.2サポート
https://aws.amazon.com/jp/about-aws/whats-new/2018/04/aws-glue-now-supports-apache-spark-221/

20180412:ジョブにタイムアウト値追加
https://aws.amazon.com/jp/about-aws/whats-new/2018/04/aws-glue-now-supports-timeout-values-for-etl-jobs/

20180418:ジョブに実行時間が秒単位に。オーバーヘッド時間が含まれないようになったっぽい

20180424:ムンバイリージョンリリース
https://aws.amazon.com/jp/about-aws/whats-new/2018/04/aws-glue-is-now-available-in-the-asia-pacific-mumbai-aws-region/

20180506:AWS Glueクローラー「MergeNewColumns」に新しい設定オプションを追加しました(クローラがテーブルメタデータの変更を検出すると、そのテーブルに新しい列が追加され、グループデータカタログの既存の既存メタデータは上書きされません。 新しい列は、ネストされたデータ型を含め、遭遇したときに追加されます。 しかし、既存の列は削除されず、その型は変更されません)
https://forums.aws.amazon.com/ann.jspa?annID=5696

20180509:ソウルリージョンリリース
https://aws.amazon.com/jp/about-aws/whats-new/2018/05/aws-glue-is-now-available-in-the-asia-pacific-seoul-aws-region/

20180511:ロンドンリージョンリリース
https://aws.amazon.com/jp/about-aws/whats-new/2018/05/aws-glue-is-now-available-in-the-eu-london-aws-region/

20180525:JobのパラメータにDelay notification thresholdが追加(ジョブの遅延を指定した時間を超えると通知)
https://forums.aws.amazon.com/ann.jspa?annID=5770

20180711:DDBをデータソースとしてサポート
https://aws.amazon.com/jp/about-aws/whats-new/2018/07/aws-glue-now-supports-reading-from-amazon-dynamodb-tables/

20180714:Glue JobのCWメトリクスをサポート
https://aws.amazon.com/jp/about-aws/whats-new/2018/07/aws-glue-now-provides-additional-ETL-job-metrics/

201807未明:Glue コンソールが日本語になってた

20180807:Canadaリージョン
https://aws.amazon.com/jp/about-aws/whats-new/2018/08/aws-glue-is-now-available-in-canada-central-aws-region/

20180824頃:保管時のデータ暗号化サポート
https://aws.amazon.com/jp/about-aws/whats-new/2018/09/aws-glue-now-supports-data-encryption-at-rest/

20181008:GlueがSamemakerのJupyter notebookをサポート
https://aws.amazon.com/jp/about-aws/whats-new/2018/10/aws-glue-now-supports-connecting-amazon-sagemaker-notebooks-to-development-endpoints/

20181016:データカタログのリソースベースのポリシーとリソースレベルの権限をサポート
IAMユーザーごとに見えたり操作できるテーブルを制御できる
テーブルのクロスアカウントによるアクセス可能
https://aws.amazon.com/jp/about-aws/whats-new/2018/10/aws-glue-now-supports-resource-based-policies-and-resource-level-permissions-and-for-the-AWS-Glue-Data-Catalog/

20181117:クロスアカウント、クロスリージョンのGlue Connection
https://aws.amazon.com/jp/blogs/big-data/create-cross-account-and-cross-region-aws-glue-connections/

その他

Glueの使い方まとめ
https://qiita.com/pioho07/items/32f76a16cbf49f9f712f