概要
データ分析基盤(概念モデル)におけるデータ活用レイヤーに関する整理を実施します。
本記事にて、下記の記事におけるデータ活用レイヤーの詳細を記載します。
定義
データ利活用レイヤーの定義
データ基盤にて管理したデータに対して、データ分析やデータ提供を行う層。
データ分析レイヤー(データ利活用レイヤー)の定義
ある目的に従い、可視化・統計解析・シミュレーションにより、価値を創造する活動を行うためのシステムを保持した層。
データ利用レイヤー(データ利活用レイヤー)の定義
データ分析基盤におけるデータを提供する層。
コンポーネント詳細
番号 | データ基盤におけるレイヤー | コンポーネント名 | 説明 | サービス例 |
---|---|---|---|---|
18 | データ利活用レイヤー (データ分析レイヤー) | 可視化システム(Business Interigence(BI)ツール) | データに基づき、集計や可視化によるデータの比較により洞察を主たる目的としたシステム。 | Tableau、Power BI、 |
19 | データ利活用レイヤー (データ分析レイヤー) | 解析システム | データに基づき、事象を数学的に定式化(モデル化)することを主たる目的としたシステム。 | SAS、Datarobot、Amazon SageMake、Azure Machine Learning |
22 | データ活用レイヤー (データ分析レイヤー) | シミュレーションシステム | データに基づき、作成済みのモデルに制約条件を設定したうえで、期待値の算出、組み合わせの最適化、または、想定事象の現出の実施を主たる目的としたシステム。 | Anaplan、Python |
20 | データ利活用レイヤー (データ利用レイヤー) | データ連携サービス | バッチレイヤー、スピードレイヤー、サービスレイヤーにて保持しているデータに対して、データの抽出・変換・出力や多様な接続方法(REST API、MQTT等)によりデータを提供するサービスがある。 | Amazon Athena、Azure Synapse Analytics SQLオンデマンド 、Apache Presto |
21 | データ利活用レイヤー (データ利用レイヤー) | クエリエンジン | バッチレイヤー、スピードレイヤー、サービスレイヤーにて保持しているデータに対して、データへの接続環境を提供するサービス。 |
要求要件
前提
データ分析とは、ある目的に従い、可視化・統計解析・シミュレーションにより、価値を創造する活動と定義する。データ分析を、下記の3つに分けシステムを選定することをおすすめします。BIシステムにおいても、統計解析やシミュレーションを実施できますが、要求を満たさない場合があいます。
可視化システム(Business Interigence(BI)ツール)
下記の機能を保持する必要があります。
番号 | 要否 | 主要要件 | 説明 |
---|---|---|---|
1 | 必須 | データストアへの接続 | 外部データストアサービスへ接続し、データの入出力を行う機能 |
2 | 必須 | データプリパレーション | データを抽出・変換・書き込み等を行い、データモデリングの事前準備、あるいは、対データストアへのデータ連携の処理を行う機能 |
3 | 必須 | データモデリング | データ可視化、AI統合による拡張アナリティクス 、シミュレーションを行うために、データを構造化する機能 |
4 | 必須 | データ可視化 | データをビジュアルとして表現する機能 |
5 | 任意 | 共有とコラボレーション | データ可視化、AI統合による拡張アナリティクス 、シミュレーションを共有し、コミュニケーションを図る機能 |
6 | 任意 | AI統合による拡張アナリティクス | AIによる自動的なインサイト、機械学習との統合に関する機能 |
7 | 任意 | シミュレーション | 仮想的な手法により様様なシチュエーションを想定し、想定結果・リスク・最適解等を算出する機能 |
8 | 任意 | ガバナンス | BI機能要件の機能を統合管理する機能 |
9 | 必須 | セキュリティ | 脅威からアプリケーションとデータを保護する能力。特に |
詳細については、下記の記事をご確認ください。
統計解析システム
下記の機能を保持する必要があります。
番号 | 要否 | 主要要件 | 説明 |
---|---|---|---|
1 | 必須 | データストアへの接続 | 外部データストアサービスへ接続し、データの入出力を行う機能 |
2 | 必須 | データ前処理 | データを抽出・変換・書き込み等を行い、統計解析の事前準備を行う機能 |
3 | 必須 | 可視化 | データをビジュアルとして表現する機能 |
4 | 必須 | 統計解析の実施 | 数学的な定式化を実施する機能 |
5 | 必須 | 統計解析の利用 | 数学的な定式化を利用する機能 |
6 | 任意 | 共有とコラボレーション | ライフサイクルを支援する機能。 |
7 | 任意 | ガバナンス | 機能を統合管理する機能 |
シミュレーションシステム
下記の機能を保持する必要があります。
番号 | 要否 | 主要要件 | 説明 |
---|---|---|---|
1 | 必須 | データストアへの接続 | 外部データストアサービスへ接続し、データの入出力を行う機能 |
2 | 必須 | データ前処理 | データを抽出・変換・書き込み等を行い、シミュレーションの事前準備の処理を行う機能 |
3 | 必須 | シミュレーションの可視化 | シミュレーションを実施する過程において可視化する機能。 |
4 | 任意 | シミュレーションのモデル作成 | シミュレーションに利用するモデルを作成する機能。 |
5 | 任意 | シミュレーションの利用 | 作成済みのモデルにて、具体的な制約条件を付与して、期待値の算出、組み合わせの最適化、または、想定事象の現出の実施する機能。 |
6 | 任意 | 共有とコラボレーション | ライフサイクルを支援する機能。 |
7 | 任意 | ガバナンス | 機能を統合管理する機能 |
データ連携サービス
下記の機能を保持する必要があります。
番号 | 要否 | 分類 | 主要要件 | 説明 |
---|---|---|---|---|
1 | 必須 | データ変換エンジン/ETLツール | データ抽出 | データ分析基盤のデータストアからデータを抽出する機能。 |
2 | 必須 | データ変換エンジン/ETLツール | データ変換 | 抽出したデータを変換する機能。 |
3 | 必須 | データ変換エンジン/ETLツール | データ取込 | ターゲットにデータを取り込む機能。 |
4 | 任意 | データ変換エンジン/ETLツール | データ蓄積 | 抽出したデータや変換したデータを蓄積する機能。 |
5 | 任意 | データ書き込み | メッセジングキュー | ターゲットにメッセジングを配信する機能。 |
6 | 任意 | パイプライン定義 | パイプライン定義 | 定義済みのプロセスを組み合わせたパイプラインを定義する機能。 |
7 | 任意 | プロセスコントロール | パイプライントリガー登録 | 情報共有を行うためのWikiの作成・管理・共有ができる機能 |
8 | 任意 | プロセスコントロール | パイプライン実行ログ保持 | パイプライン実行時に生成されるログを保持する機能 |
9 | 任意 | プロセスコントロール | パイプラインアラート | パイプライン実行に関するアラートを行う機能 |
クエリエンジン
下記の機能を保持する必要があります。
番号 | 要否 | 分類 | 主要要件 | 説明 |
---|---|---|---|---|
1 | 必須 | データストアへの接続 | 他データストア接続 | 他データストアに対して接続できる機能 |
2 | 必須 | データの問い合わせ | クエリ発行 | 接続したデータストアに対してクエリを発行する機能 |
3 | 任意 | 拡張性 | クラスターのスケールアウト | 同一のエンドポイントを利用可能な状態で、クラスターの数を増減する機能。 |
参考情報
可視化システム(Business Interigence(BI)ツール)
特になし。
統計解析システム
特になし。
シミュレーションシステム
特になし。
データ連携サービス
特になし。
クエリエンジン
特になし。