[Azure Data Factory] パイプラインの推奨設定 – リトライ
https://blogs.msdn.microsoft.com/jpsql/2017/02/27/azure-data-factory-pipeline-retry/
MSDN のサイトが削除されたため 2017年2月に投稿した記事も消えました。手元に保存していた過去の記事を再度投稿します。
- Azure Data Factory とは？
SQL Server では、データを移行を行う際 SQL Server Integration Services (SSIS) を利用することで、CSV ファイルを SQL Server へコピーや、データ加工後の移行ができました。
これを Azure のクラウドで実現したものが Azure Data Factory となります。
Azure Data Factory を利用すれば、例えばローカルにある CSV ファイルや SQL Server にあるデータを Azure SQL Database や Blob Storage にコピーしたり、データ変更後の移行ができます。
サポートされる移行元のデータは、ローカルのファイル、On-Premise の SQL Server や Oracle のデータ、Azure 上の SQL Database や Data Lake Store のデータ、その他 Salesforce などさまざまで、それらを Azure 上の SQL Database, BLOB Storage や DocumentDB などへのデータ移行もしくはデータ変換し保存することができます。詳細は クラウドによるデータ統合サービスである Azure Data Factory サービスの概要 を参照ください。
- Azure Data Factory で行われる処理とは？
Azure Data Factory で行われる処理はアクティビティと呼ばれ、主に 2 種類あります。一つは、データをコピーするコピーアクティビティ。もう一つは、データを変換もしくは分析する、データ変換アクティビティです。
これらのアクティビティは、Azure Data Factory で設定する JSON 形式の パイプラインで指定できます。
コピーアクティビティの参考情報 コピー アクティビティを使用したデータの移動
https://docs.microsoft.com/ja-jp/azure/data-factory/v1/data-factory-data-movement-activitiesデータ変換アクティビティの参考情報 Azure Data Factory でデータを変換する
https://docs.microsoft.com/ja-jp/azure/data-factory/v1/data-factory-data-transformation-activities
- パイプラインの推奨設定 - リトライ
Azure Data Factory は Azure クラウドの Web のサービスであるため、高可用性を実現しているサービスではあるものの、データセンター側でのサーバーの障害によるフェールーバー（サーバーの切り替え）や、ネットワークの問題による瞬断などが発生します。
そのため、上記の予期せぬ問題を回避するため、パイプラインの activities の項目にある policy にてリトライの設定を行います。詳細は Azure Data Factory のパイプラインとアクティビティ を参照ください。リトライの設定例は以下となります。
(例) スライス (パイプラインで指定した間隔) のデータ処理が失敗した場合、最初に 3 回リトライを行い ("retry": 3)、それでも失敗する場合は 25 分待って (
"longRetryInterval": "00:25:00")、2回目のロングリトライ ("longRetry": 2) により、3 回のリトライが実施される設定の例です。
"policy": {
"timeout": "01:00:00",
"delay": "00:07:00",
"concurrency": 1,
"executionPriorityOrder": "NewestFirst",
"retry": 3,
"longRetry": 2,
"longRetryInterval": "00:25:00"
},
以上、Azure Data Factory の紹介と、パイプラインのリトライの設定についてお伝えしました。お役に立てたら幸いです。