AzureDataFactory(ADF)とは何か

　でーた分析基盤のプロジェクトにてAzureのADFを使用したので整理していく。AzureのADFは下記の公式マニュアルで説明されている。

Azure Data Factory は、このようなデータシナリオを解決するプラットフォームです。クラウドベースの ETL およびデータ統合サービスを通じて、データの移動と変換を大規模に制御するデータドリブンのワークフローを作成できます。 Azure Data Factory を使えば、各種のデータストアからデータを取り込むことができるデータ主導型のワークフロー (パイプライン) を作成し、スケジューリングできます。コンピューティングサービス (Azure HDInsight Hadoop、Azure Databricks、Azure SQL Database など) やデータフローを使用してデータを変換する複雑な ETL プロセスを視覚的に作成できます。

上記のように記載されており、データを統合管理するクラウドのプラットフォームである。
プロジェクトでは、AzureのBlobに配置されたファイルを整形して、SnowFlakeに登録するETLジョブをADFを使用して構築ていました。

ADFの実行方法について

ADFの実行方法は下記のサイトでも説明されているが「デバック」ボタンを押すと
パイプラインが実行されて「出力」タブに「パイプライン」を構成する「アクティビティ」の状態が表示される。

「アクティビティ」には、実行時のIDが振られ
そのIDをAzureバッチのログなどで確認すると、stderrやstdoutなどを確認することもできる。

ADFのアクティビティの設定について

　パイプの下には、カスタムプロパティを定義できる部分があり、それぞれの「アクティビティ」で

どのようなコマンドを実行するか?
どのリソースをインプットにするか?

などを定義することができる。

Azure Batchというタブもあり、このタブでAzureBatchのリンクサービスを指定する。このBatchのサービスで定義されているプール上でパイプラインの処理が動作するイメージである。※プールにはVM(仮想インスタンス)の数やスペックなどが定義されている。