Glueのアップデート履歴

自分のための履歴

抜け漏れあるかもなので参考程度に

履歴

• 20170815：Glue GA
  https://aws.amazon.com/jp/blogs/news/launch-aws-glue-now-generally-available/

• 20170929：Supports Filter and Map transforms
  https://aws.amazon.com/jp/about-aws/whats-new/2017/09/aws-glue-now-supports-filter-and-map-transforms/

• 2017101x：ジョブ中断できる

• 2017102x：New map filter
  http://docs.aws.amazon.com/ja_jp/glue/latest/dg/aws-glue-api-crawler-pyspark-transforms-filter.html

• 20171024：CFｎ対応
  https://aws.amazon.com/jp/about-aws/whats-new/2017/10/aws-glue-can-now-be-configured-using-aws-cloudformation-templates/

• 20171107：CloudTrail対応
  https://aws.amazon.com/about-aws/whats-new/2017/11/aws-glue-api-calls-are-now-recorded-and-available-in-aws-cloudtrail/

• 20171223：東京リージョンリリース
  https://aws.amazon.com/jp/about-aws/whats-new/2017/12/aws-glue-is-now-available-in-the-asia-pacific-tokyo-aws-region/

• 201801xx：View機能(Glue-Tablesの右上の"SaveView"があり検索条件を保存する機能)

• 20180112：Scalaリリース
  https://aws.amazon.com/jp/blogs/big-data/aws-glue-now-supports-scala-scripts/

• 20180112:Trigerイベント追加
  https://aws.amazon.com/jp/about-aws/whats-new/2018/01/aws-glue-now-supports-additional-job-events-as-trigger-conditions/

• 20180206:なんとGlueのメニューにWhat'sNewが追加されてた(20180206)

もうこのQiitaいらないんじゃw

• 20180411:Spark2.2サポート
  https://aws.amazon.com/jp/about-aws/whats-new/2018/04/aws-glue-now-supports-apache-spark-221/

• 20180412:ジョブにタイムアウト値追加
  https://aws.amazon.com/jp/about-aws/whats-new/2018/04/aws-glue-now-supports-timeout-values-for-etl-jobs/

• 20180418:ジョブに実行時間が秒単位に。オーバーヘッド時間が含まれないようになったっぽい(ジョブIDをクリックしたあとに出る時間はオーバヘッド時間が含まれている)

• 20180506:AWS Glueクローラー「MergeNewColumns」に新しい設定オプションを追加しました(クローラがテーブルメタデータの変更を検出すると、そのテーブルに新しい列が追加され、グループデータカタログの既存の既存メタデータは上書きされません。 新しい列は、ネストされたデータ型を含め、遭遇したときに追加されます。 しかし、既存の列は削除されず、その型は変更されません)
  https://forums.aws.amazon.com/ann.jspa?annID=5696

• 20180525:JobのパラメータにDelay notification thresholdが追加(ジョブの遅延を指定した時間を超えると通知)
  https://forums.aws.amazon.com/ann.jspa?annID=5770

• 20180711:DDBをデータソースとしてサポート
  https://aws.amazon.com/jp/about-aws/whats-new/2018/07/aws-glue-now-supports-reading-from-amazon-dynamodb-tables/
  対応記事：DynamoDBをデータソースにする

• 20180714:Glue JobのCWメトリクスをサポート
  https://aws.amazon.com/jp/about-aws/whats-new/2018/07/aws-glue-now-provides-additional-ETL-job-metrics/
  対応記事：ETL ジョブの CloudWatch メトリクス確認

• 201807未明:Glue コンソールが日本語になってた

• 20180824頃:保管時のデータ暗号化サポート
  https://aws.amazon.com/jp/about-aws/whats-new/2018/09/aws-glue-now-supports-data-encryption-at-rest/

• 20181008:GlueがSamemakerのJupyter notebookをサポート
  https://aws.amazon.com/jp/about-aws/whats-new/2018/10/aws-glue-now-supports-connecting-amazon-sagemaker-notebooks-to-development-endpoints/
  対応記事：Jupyter NotebookをGlueの開発で使う

• 20181016:データカタログのリソースベースのポリシーとリソースレベルの権限をサポート
  IAMユーザーごとに見えたり操作できるテーブルを制御できる
  テーブルのクロスアカウントによるアクセス可能
  https://aws.amazon.com/jp/about-aws/whats-new/2018/10/aws-glue-now-supports-resource-based-policies-and-resource-level-permissions-and-for-the-AWS-Glue-Data-Catalog/
  対応記事：GlueやAthenaで見えるテーブルを制限する

• 20181117:クロスアカウント、クロスリージョンのGlue Connection
  https://aws.amazon.com/jp/blogs/big-data/create-cross-account-and-cross-region-aws-glue-connections/

• 20190116:Glue Catalogのデータベースとテーブルに変更があったときのCloudWatchイベントによる通知をサポート
  https://docs.aws.amazon.com/glue/latest/dg/doc-history.html
  対応記事：CloudWatchイベントのGlue関連対応

• 20190122:Python Shell
  https://aws.amazon.com/jp/about-aws/whats-new/2019/01/introducing-python-shell-jobs-in-aws-glue/
  対応記事：GlueのPython shell を使う

• 20190205:Glue データカタログクライアント向けの Apache Hive メタストア用ソースコードがダウンロード可能に
  https://aws.amazon.com/jp/about-aws/whats-new/2019/02/source-code-for-the-aws-glue-data-catalog-client-for-apache-hive-metatore-is-now-available-for-download/

• 20190315:AWS Glue enables running Apache Spark SQL queries
  https://aws.amazon.com/jp/about-aws/whats-new/2019/03/aws-glue-enables-running-apache-spark-sql-queries/

• 20190321:リソースタグ
  https://aws.amazon.com/jp/about-aws/whats-new/2019/03/aws-glue-now-supports-resource-tagging/

• 20190406:Glue Job WorkerType
  https://aws.amazon.com/jp/about-aws/whats-new/2019/04/aws-glue-now-supports-additional-configuration-options-for-memory-intensive-jobs/

• 20190510:AWS Glue crawlers now support existing Data Catalog tables as sources
  https://aws.amazon.com/about-aws/whats-new/2019/05/aws-glue-crawlers-now-support-existing-data-catalog-tables-as-sources/

• 20190529:AWS Glue now enables continuous logging for Spark ETL jobs
  https://aws.amazon.com/jp/about-aws/whats-new/2019/05/aws-glue-now-enables-continuous-logging-for-spark-etl-jobs/
  GlueのログがDriverログとExecutorログに分けて詳細に出せるようになりました

• 20190604:GlueのVPCエンドポイント対応
  https://aws.amazon.com/about-aws/whats-new/2019/06/aws_glue_now_provides_vpc_interface_endpoint/

• 20190606:python shellでpython3.6対応
  https://aws.amazon.com/jp/about-aws/whats-new/2019/06/aws_glue_supportscripts/

• 20190621:worflow機能
  https://aws.amazon.com/jp/about-aws/whats-new/2019/06/aws-glue-now-provides-workflows-to-orchestrate-etl-workloads/
  ジョブとクローラーとのワークフローだけで良い時

• 20190726:Spark 2.4.3（Python 3)サポート
  https://aws.amazon.com/jp/about-aws/whats-new/2019/07/aws-glue-now-supports-ability-to-run-etl-jobs-apache-spark-243-with-python-3/
  Spark2.4、Python3で開発したい時

• 20190726:開発エンドポイントで大規模メモリのWorkerTypeオプションをサポート
  https://aws.amazon.com/jp/about-aws/whats-new/2019/07/aws-glue-now-supports-additional-configuration-options-for-memory-intensive-jobs-submitted-through-deployment-endpoints/
  開発エンドポイントで大きいメモリ使いたい時

• 20190727:BookmarkがparquetとORCに対応
  https://aws.amazon.com/jp/about-aws/whats-new/2019/07/aws-glue-now-provides-ability-to-bookmark-parquet-and-orc-files-using-glue-etl-jobs/

• 20190807:Shared VPCでのGlue起動対応
  https://aws.amazon.com/jp/about-aws/whats-new/2019/08/now-launch-aws-glue-amazon-emr-and-aws-aurora-serverless-clusters-in-shared-vpcs/

• 20190810:ML Transforms
  https://aws.amazon.com/jp/about-aws/whats-new/2019/08/aws-glue-provides-findmatches-ml-transform-to-deduplicate/

• 20190829:AWS Glueは、Glueジョブ用のGlue ETLライブラリのバイナリをリリースします(Glue binary Maven 経由で使えるようになりました)
  https://aws.amazon.com/jp/about-aws/whats-new/2019/08/aws-glue-releases-binaries-of-glue-etl-libraries-for-glue-jobs/

• 20190905:Excluding Amazon S3 Storage Classes(Gracierのストレージタイプとかを処理の対象外にする
  https://docs.aws.amazon.com/ja_jp/glue/latest/dg/aws-glue-programming-etl-storage-classes.html

• 20190920:SparkUI対応
  https://aws.amazon.com/jp/about-aws/whats-new/2019/09/aws-glue-now-provides-apache-spark-ui-to-monitor-and-troubleshoot-glue-etl-jobs/

• 20190920:DevEndpointのSpark2.4, Python3 対応
  https://aws.amazon.com/jp/about-aws/whats-new/2019/09/aws-glue-supports-ability-to-test-glue-etl-scripts-on-development-endpoints/

• 20190929:Glue の Python シェルジョブと依存関係のある wheel ファイルをサポート
  https://aws.amazon.com/jp/about-aws/whats-new/2019/09/aws-glue-now-supports-wheel-files-as-dependencies-for-glue-python-shell-jobs/

• 20191012:Glue JDBC Connectionにカスタム証明書を使用する機能を提供します
  https://aws.amazon.com/jp/about-aws/whats-new/2019/10/aws-glue-now-provides-ability-to-use-custom-certificates-for-jdbc-connections/

• 20191024:ジョブブックマークを巻き戻す機能
  https://aws.amazon.com/jp/about-aws/whats-new/2019/10/aws-glue-provides-ability-to-rewind-job-bookmarks-spark-etl-jobs/

• 20191123:GlueのSpark2.4.3(v1)でFindMatch MLトランスフォームをサポートしました
  https://aws.amazon.com/jp/about-aws/whats-new/2019/11/aws-glue-supports-findmatches-ml-transform-apache-spark/

• 20191126:独自のJDBCドライバーをGlue Spark ETLジョブに追加できるようになりました
  https://aws.amazon.com/jp/about-aws/whats-new/2019/11/aws-glue-now-enables-you-to-bring-your-own-jdbc-drivers-to-your-glue-spark-etl-jobs/

• 20200116:GlueジョブからS3に出力と同時にクローラー実行したりadd partitionするオプション
  https://docs.aws.amazon.com/ja_jp/glue/latest/dg/update-from-job.html

• 20200117:SparkアプリケーションがS3のデータセットを操作するための新しい変換（パージ、移行、およびマージ）の追加
  https://aws.amazon.com/jp/about-aws/whats-new/2020/01/aws-glue-adds-new-transforms-apache-spark-applications-datasets-amazon-s3/

• 20200404:AWS GlueがGlue Spark ETLジョブからパーティションを更新する機能をサポートするようになりました
  https://aws.amazon.com/jp/about-aws/whats-new/2020/04/aws-glue-now-supports-the-ability-to-update-partitions-from-glue-spark-etl-jobs/

• 20200404:DocumentDB対応
  https://aws.amazon.com/jp/about-aws/whats-new/2020/04/aws-glue-now-supports-reading-from-amazon-documentdb-and-mongodb-tables/

• 20200428:Streaming ETL対応
  https://aws.amazon.com/jp/about-aws/whats-new/2020/04/aws-glue-now-supports-serverless-streaming-etl-jobs/

• 20200811:Glue v2
  https://aws.amazon.com/jp/about-aws/whats-new/2020/08/aws-glue-version-2-featuring-10x-faster-job-start-times-1-minute-minimum-billing-duration/
  GlueのVPC内リソースでの実行に10分待つことがあったが、1分くらいになりました。

• 20200813:Glue workflow stop & restart
  https://aws.amazon.com/jp/about-aws/whats-new/2020/08/aws-glue-provides-ability-stop-restart-glue-workflows/

• 20200924:Glue Studio
  https://aws.amazon.com/jp/about-aws/whats-new/2020/09/announcing-aws-glue-studio/

• 20201009:Glue Streaming ETLジョブは、スキーマの検出と進化をサポートします
  https://aws.amazon.com/jp/about-aws/whats-new/2020/10/aws-glue-streaming-etl-jobs-support-schema-detection-and-evolution/

• 20201016:Glue Streaming で Avro サポート（これまでは JSON, CSV, Parquet, XML のみ対応）
  https://aws.amazon.com/about-aws/whats-new/2020/10/aws-glue-streaming-etl-jobs-support-reading-records-in-apache-avro-format/

• 20201016:Glue Crawler が Document DB/mongo DB 対応
  https://aws.amazon.com/about-aws/whats-new/2020/10/aws-glue-crawlers-support-amazon-documentdb-mongodb-compatibility-mongodb-collections/

その他

Glueの使い方まとめ
https://qiita.com/pioho07/items/32f76a16cbf49f9f712f