LoginSignup
2
1

More than 5 years have passed since last update.

Azure Data Facotoryの逆引きリファレンス

Posted at

Azure Data Factory

Azure Data Factory(ADF)はデータソースから、データ抽出や生成、転送、バックアップなどを定期実行するための機能です。Azureの分析フレームワークで最初に使う情報管理(information management)系のツールに位置付けられています。

image.png

ADFを使えば、簡易なJSONやウィザード形式で簡単に定期実行をする、データフローが始められるため、既存のDBやファイルでデータログを管理しているサービスなどには親和性が高いサービスとなっています。

ADFの問題点

JSONやウィザード形式で提供されている分、かゆいところに手が届かないなどの問題があります。
※ 私はコピーウィザードしか使ったことがないので、一般的な見方とは少し違うかもしれません。

  • 細かいフィルタなどはかけない
     SQLクエリーを入れることはできますが、はっきり言ってADFではおまけ程度です。

  • 作成した後変更方法などが分かりにくい
     単にUIの問題ともいえますが、直感的に作業するにはAzure慣れが必要です。

ですので、備忘録的に、ADFの”この時はこうする”を書いておきます。

逆引きリファレンス

以下のブレードから始まるADFですが、ここからの目的となる操作項目へのパスが多種多様で、かなり迷います。

image.png

パイプラインを編集したい

[パイプライン]->対象のパイプラインを選ぶ->パイプラインソース

でパイプラインのJSON編集ブレードが現れます。これは特にわかりにくいところは無いです。

入力ソースの切り替え、頻度の編集、クエリーの編集などができます。

スケジュールされたパイプラインを即時実行したい

これはわかりにくいです。

[監視と管理]->対象のパイプラインを選ぶ->アクティビティウィンドウで最新のアクティビティを選ぶ-> Rerun

image.png

Rerunはメニューバーの最初(一番左)のボタンです。これ以外にも方法はありそうですが、見つかりませんでした。

パイプラインを起動、停止、一時停止する

[監視と管理]->対象のパイプラインを選ぶ->メインウィンドウの再生ボタンなどを押す

image.png

これもわかりやすいですが、ここまでのパスを忘れてしまいます。

また増えたら追加していきたいと思います。

2
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
2
1