はじめに
Azure Data Factory を利用するユーザーにとって、頻繁に使用されるコピーアクティビティ。今回、差分更新を一括で実施する必要が生じたため、その方法を調べました。本稿では、その結果を備忘録としてまとめています。
内容
※注意：コピーアクティビティの基本的な追加手順については割愛しています。
差分更新の設定方法
Azure Data Factory のコピーアクティビティには、直接的な差分更新の設定項目はありません。そのため、動的コンテンツを利用して式を記述する必要があります。
設定手順
コピーアクティビティの「最終変更日時でフィルター」という項目に、以下のような式を記載します。これにより、差分更新を行うことが可能になります。
今回は、デイリーバッチ処理を想定として以下の式を使用しました。
@formatDateTime(addDays(pipeline().TriggerTime, -1), 'yyyy-MM-ddTHH:mm:ss')
設定例
以下の画像の赤枠部分に、上記の式を入力します。
他のバッチ処理時間に応じた設定例
マイクロソフト公式ドキュメントには、動的コンテンツの例が紹介されています。以下の表を参考に、任意のバッチ処理時間を設定することができます。
| 繰り返し | 動的コンテンツ |
|---|---|
| 分単位 | @formatDateTime(addMinutes(pipeline().TriggerTime, -<your set repeat minute>), 'yyyy-MM-dd HH:mm:ss') |
| 1 時間ごと | @formatDateTime(addHours(pipeline().TriggerTime, -<your set repeat hour>), 'yyyy-MM-ddTHH:mm:ss') |
| 毎日 | @formatDateTime(addDays(pipeline().TriggerTime, -1), 'yyyy-MM-ddTHH:mm:ss') |
| 週単位 | @formatDateTime(addDays(pipeline().TriggerTime, -7), 'yyyy-MM-ddTHH:mm:ss') |
これらの例を参考にすることで、任意のバッチ時間に応じた差分更新処理が可能になります。
まとめ
Azure Data Factory を使用することで、差分更新を活用した効率的で自動化されたデータ転送が可能になります。適切な差分検出ロジックを設計し、コピーアクティビティと動的コンテンツを組み合わせることで、安定した運用が期待できます。また、作業負荷の軽減や運用コストの最適化にもつながるため、ぜひ活用してみてください。
参考文献