Azure Data Factory
Azure Data Factory(ADF)はデータソースから、データ抽出や生成、転送、バックアップなどを定期実行するための機能です。Azureの分析フレームワークで最初に使う情報管理(information management)系のツールに位置付けられています。
ADFを使えば、簡易なJSONやウィザード形式で簡単に定期実行をする、データフローが始められるため、既存のDBやファイルでデータログを管理しているサービスなどには親和性が高いサービスとなっています。
ADFの問題点
JSONやウィザード形式で提供されている分、かゆいところに手が届かないなどの問題があります。
※ 私はコピーウィザードしか使ったことがないので、一般的な見方とは少し違うかもしれません。
-
細かいフィルタなどはかけない
SQLクエリーを入れることはできますが、はっきり言ってADFではおまけ程度です。 -
作成した後変更方法などが分かりにくい
単にUIの問題ともいえますが、直感的に作業するにはAzure慣れが必要です。
ですので、備忘録的に、ADFの”この時はこうする”を書いておきます。
逆引きリファレンス
以下のブレードから始まるADFですが、ここからの目的となる操作項目へのパスが多種多様で、かなり迷います。
パイプラインを編集したい
[パイプライン]->対象のパイプラインを選ぶ->パイプラインソース
でパイプラインのJSON編集ブレードが現れます。これは特にわかりにくいところは無いです。
入力ソースの切り替え、頻度の編集、クエリーの編集などができます。
スケジュールされたパイプラインを即時実行したい
これはわかりにくいです。
[監視と管理]->対象のパイプラインを選ぶ->アクティビティウィンドウで最新のアクティビティを選ぶ-> Rerun
Rerunはメニューバーの最初(一番左)のボタンです。これ以外にも方法はありそうですが、見つかりませんでした。
パイプラインを起動、停止、一時停止する
[監視と管理]->対象のパイプラインを選ぶ->メインウィンドウの再生ボタンなどを押す
これもわかりやすいですが、ここまでのパスを忘れてしまいます。
また増えたら追加していきたいと思います。