概要

データ分析基盤（概念モデル）におけるオーケストレーションに関する整理を実施します。

本記事にて、下記の記事におけるオーケストレーションの詳細を記載します。

最強のデータ分析基盤を目指して～汎用的なデータ分析基盤の選定方法の提案～

定義

オーケストレーションの定義

ETL（データ抽出・変換・取り込み）や他プログラミングの実行などの処理の実施、データフローの開始から終了までの処理フローをパイプラインとして定義のの実施、および、パイプラインをトリガー（スケジュールトリガー、イベントトリガー等）トリガー登録によりプロセスコントロールの実施を行うシステム層。

コンポーネント詳細

番号	データ基盤におけるレイヤー	コンポーネント名	説明	サービス例
24	オーケストレーション	オーケストレーション	ETL（データ抽出・変換・取り込み）や他プログラミングの実行などの処理の実施、データフローの開始から終了までの処理フローをパイプラインとして定義のの実施、および、パイプラインをトリガー（スケジュールトリガー、イベントトリガー等）トリガー登録によりプロセスコントロールの実施を行うシステム群。 DMBOKにおける下記コンポーネントを含めることを想定している。・データ変換エンジン/ETLツール・オーケストレーション・プロセスコントロール	JP1、Amazon Glue、Azure Data Factory

要求要件

オーケストレーション

下記の機能を保持する必要があります。

番号	要否	分類	主要要件	説明
1	任意	データ変換エンジン/ETLツール	データ抽出	ソースからデータを抽出する機能。
2	任意	データ変換エンジン/ETLツール	データ変換	抽出したデータを変換する機能。
3	任意	データ変換エンジン/ETLツール	データ取込	ターゲットにデータを取り込む機能。
4	任意	データ変換エンジン/ETLツール	データカタログ連携	データカタログにて保持しているメタデータに基づき処理を定義する機能
5	必須	パイプライン定義	他プロセス実行	自システム、あるいは、他システムにおけるプロセスを実行する機能
6	必須	パイプライン定義	パイプライン定義	定義済みのプロセスを組み合わせたパイプラインを定義する機能。
7	必須	プロセスコントロール	パイプライントリガー登録	定義済みのパイプラインを特定のトリガー（時間、イベント）で実行する機能
8	必須	プロセスコントロール	パイプライン実行ログ保持	パイプライン実行時に生成されるログを保持する機能
9	必須	プロセスコントロール	パイプラインアラート	パイプライン実行に関するアラートを行う機能
10	必須	プロセスコントロール	パイプライン処理のエラー時の再実行	パイプラインをトリガー実施した際のエラー時に再実行を行う機能

参考情報

オーケストレーション

オーケストレーションとして、下記の紹介がされとり、本概念モデルでは下記の2つの機能にETL機能を加えたものをオーケストレーションと捉えている。

オーケストレーションとは複数のプロセスがシステム内でどのように構成され、実行されるかを説明するために使われる用語である。
プロセスコントロールはデータの発信、配信、抽出、取込が正確かつ完全であることを保証するために必要な要素である。
引用元：DMBOK 2nd

オーケストレーションの機能の１つである、プロセスコントロール機能については、DMBOK 2ndにて下記のような記載がある。

プロセスコントロールはデータの発信、配信、抽出、取込が正確かつ完全であることを保証するために必要な要素である。基本的なデータ移動アーキテクチャやコントロールでよく見過ごされる側面には、次のようなものがある。

データベースアクティビティのログ

バッチジョブのログ

アラート

例外ログ

修復オプションや標準的な応答を含む、ジョブ依存チャート

ジョブ「時計」情報。従属ジョブのタイミング、予想されるジョブの長さ、コンピュータの（利用可能な）時間帯など
引用元：[DMBOK 2nd]

参考資料