AzureのETLツール「Azure Data Factory」の概要です。
1.ドキュメント
・Microsoft Learn
Microsoftが提供するサービスのドキュメントが参照できるサイトで、ハンズオンも充実しています。
Azure Data Factoryのページはこちら。
https://learn.microsoft.com/ja-jp/azure/data-factory/
2.Azure Data Factoryの機能
Azure Data FactoryはGUI開発が可能で、処理はSparkの並列分散処理基盤で実行されます。
Azure DevOps や GitHub を使用したCI/CD もサポートしています。
他のサービスとの連携はこのようになります。
Azure Data Factoryではデータの抽出、変換処理ができ、作成したデータを活用することができます。
上の図で赤く色づけしている箇所について簡単に解説します。
(1)データ抽出
オンプレミスやクラウドで管理しているデータを、コピーアクティビティでBlobやData Lake Storageなどのデータストアに移動します。
(2)データ変換
データ変換用のアクティビティを利用してデータの加工を行います。以下のサービスを利用することもできます。
(3)データ活用
データストアにデータを保存し、業務ファイルやBIツールなどから参照します。
3.Azure Data Factory インスタンスを構成するコンポーネント
Azure Data Factory ではワークフロー (パイプライン) を作成してスケジューリングしたり、スケジュール化したワークフローを監視することができます。
主なコンポーネントについて解説します。
4.アクティビティ一覧
Azure Data Factory で利用可能なアクティビティの概要を記載します。
5.料金
料金は以下に対してかかります。
以上です。