勉強前イメージ
glueってのり？
何かと何かを繋げる的な・・・？
調査
AWS Glue とは
データの分類、クリーニング、加工を行う、
フルマネージドなETL(Extract(抽出)/Transform(変換)/Load(ロード))サービスです。
分析用のデータ準備やロードを簡単に行うことができ、日々のETL処理を自動化・サーバレス化が可能になります。
データカタログに保存されると、データがすぐ検索でき、クエリ可能にもなるのが特徴です。
メリット
- 迅速なデータ統合
Glueで抽出、クリーニング、正規化、結合、読み込み、ワークフローの実行など行うことができ、
分析までにかかる時間を数ヶ月から数分に短縮できます
- 大規模なデータ統合を自動化
いくつものETLジョブを実行・管理ができ、
SQLを使用して複数のデータを結合できます。
- サーバー管理が不要
フルマネージドサービスなのでサーバレス環境で実行できます。
用語
- データストア
- s3やDynamoDB,RDS等
- データソース
- Glueに入力するためのデータストア
- データターゲット
- Glueに出力するためのデータストア
- データカタログ
- データを分析するための領域
- クローラー
- いろんなデータストアからデータカタログにデータを集約する
- ジョブ
- データカタログ内でデータをELTジョブを実施する
勉強後イメージ
分析用のデータを連携して自動的に分析してくれる・・・ってサービス？
触ってみないと実際にはきちんと理解できない。。
一歩がむずかしい