1
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 3 years have passed since last update.

データ分析基盤(概念モデル)におけるデータ利活用レイヤー

Last updated at Posted at 2020-10-27

概要

データ分析基盤(概念モデル)におけるデータ活用レイヤーに関する整理を実施します。
image.png

本記事にて、下記の記事におけるデータ活用レイヤーの詳細を記載します。

定義

データ利活用レイヤーの定義

データ基盤にて管理したデータに対して、データ分析やデータ提供を行う層。

データ分析レイヤー(データ利活用レイヤー)の定義

ある目的に従い、可視化・統計解析・シミュレーションにより、価値を創造する活動を行うためのシステムを保持した層。

データ利用レイヤー(データ利活用レイヤー)の定義

データ分析基盤におけるデータを提供する層。

コンポーネント詳細

番号 データ基盤におけるレイヤー コンポーネント名 説明 サービス例
18 データ利活用レイヤー (データ分析レイヤー) 可視化システム(Business Interigence(BI)ツール) データに基づき、集計や可視化によるデータの比較により洞察を主たる目的としたシステム。 Tableau、Power BI、
19 データ利活用レイヤー (データ分析レイヤー) 解析システム データに基づき、事象を数学的に定式化(モデル化)することを主たる目的としたシステム。 SAS、Datarobot、Amazon SageMake、Azure Machine Learning
22 データ活用レイヤー (データ分析レイヤー) シミュレーションシステム データに基づき、作成済みのモデルに制約条件を設定したうえで、期待値の算出、組み合わせの最適化、または、想定事象の現出の実施を主たる目的としたシステム。 Anaplan、Python
20 データ利活用レイヤー (データ利用レイヤー) データ連携サービス バッチレイヤー、スピードレイヤー、サービスレイヤーにて保持しているデータに対して、データの抽出・変換・出力や多様な接続方法(REST API、MQTT等)によりデータを提供するサービスがある。 Amazon Athena、Azure Synapse Analytics SQLオンデマンド 、Apache Presto
21 データ利活用レイヤー (データ利用レイヤー) クエリエンジン バッチレイヤー、スピードレイヤー、サービスレイヤーにて保持しているデータに対して、データへの接続環境を提供するサービス。

要求要件

前提

データ分析とは、ある目的に従い、可視化・統計解析・シミュレーションにより、価値を創造する活動と定義する。データ分析を、下記の3つに分けシステムを選定することをおすすめします。BIシステムにおいても、統計解析やシミュレーションを実施できますが、要求を満たさない場合があいます。

可視化システム(Business Interigence(BI)ツール)

下記の機能を保持する必要があります。

番号 要否 主要要件 説明
1 必須 データストアへの接続 外部データストアサービスへ接続し、データの入出力を行う機能
2 必須 データプリパレーション データを抽出・変換・書き込み等を行い、データモデリングの事前準備、あるいは、対データストアへのデータ連携の処理を行う機能
3 必須 データモデリング データ可視化、AI統合による拡張アナリティクス 、シミュレーションを行うために、データを構造化する機能
4 必須 データ可視化 データをビジュアルとして表現する機能
5 任意 共有とコラボレーション データ可視化、AI統合による拡張アナリティクス 、シミュレーションを共有し、コミュニケーションを図る機能
6 任意 AI統合による拡張アナリティクス AIによる自動的なインサイト、機械学習との統合に関する機能
7 任意 シミュレーション 仮想的な手法により様様なシチュエーションを想定し、想定結果・リスク・最適解等を算出する機能
8 任意 ガバナンス BI機能要件の機能を統合管理する機能
9 必須 セキュリティ 脅威からアプリケーションとデータを保護する能力。特に

詳細については、下記の記事をご確認ください。

統計解析システム

下記の機能を保持する必要があります。

番号 要否 主要要件 説明
1 必須 データストアへの接続 外部データストアサービスへ接続し、データの入出力を行う機能
2 必須 データ前処理 データを抽出・変換・書き込み等を行い、統計解析の事前準備を行う機能
3 必須 可視化 データをビジュアルとして表現する機能
4 必須 統計解析の実施 数学的な定式化を実施する機能
5 必須 統計解析の利用 数学的な定式化を利用する機能
6 任意 共有とコラボレーション ライフサイクルを支援する機能。
7 任意 ガバナンス 機能を統合管理する機能

シミュレーションシステム

下記の機能を保持する必要があります。

番号 要否 主要要件 説明
1 必須 データストアへの接続 外部データストアサービスへ接続し、データの入出力を行う機能
2 必須 データ前処理 データを抽出・変換・書き込み等を行い、シミュレーションの事前準備の処理を行う機能
3 必須 シミュレーションの可視化 シミュレーションを実施する過程において可視化する機能。
4 任意 シミュレーションのモデル作成 シミュレーションに利用するモデルを作成する機能。
5 任意 シミュレーションの利用 作成済みのモデルにて、具体的な制約条件を付与して、期待値の算出、組み合わせの最適化、または、想定事象の現出の実施する機能。
6 任意 共有とコラボレーション ライフサイクルを支援する機能。
7 任意 ガバナンス 機能を統合管理する機能

データ連携サービス

下記の機能を保持する必要があります。

番号 要否 分類 主要要件 説明
1 必須 データ変換エンジン/ETLツール データ抽出 データ分析基盤のデータストアからデータを抽出する機能。
2 必須 データ変換エンジン/ETLツール データ変換 抽出したデータを変換する機能。
3 必須 データ変換エンジン/ETLツール データ取込 ターゲットにデータを取り込む機能。
4 任意 データ変換エンジン/ETLツール データ蓄積 抽出したデータや変換したデータを蓄積する機能。
5 任意 データ書き込み メッセジングキュー ターゲットにメッセジングを配信する機能。
6 任意 パイプライン定義 パイプライン定義 定義済みのプロセスを組み合わせたパイプラインを定義する機能。
7 任意 プロセスコントロール パイプライントリガー登録 情報共有を行うためのWikiの作成・管理・共有ができる機能
8 任意 プロセスコントロール パイプライン実行ログ保持 パイプライン実行時に生成されるログを保持する機能
9 任意 プロセスコントロール パイプラインアラート パイプライン実行に関するアラートを行う機能

クエリエンジン

下記の機能を保持する必要があります。

番号 要否 分類 主要要件 説明
1 必須 データストアへの接続 他データストア接続 他データストアに対して接続できる機能
2 必須 データの問い合わせ クエリ発行 接続したデータストアに対してクエリを発行する機能
3 任意 拡張性 クラスターのスケールアウト 同一のエンドポイントを利用可能な状態で、クラスターの数を増減する機能。

参考情報

可視化システム(Business Interigence(BI)ツール)

特になし。

統計解析システム

特になし。

シミュレーションシステム

特になし。

データ連携サービス

特になし。

クエリエンジン

特になし。

参考資料

1
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?