#はじめに

#基礎知識

データパイプライン：データ連携をするシステム全体
処理もろもろ
- ストリーム処理：受け取ったデータをリアルタイムに処理
- バッチ処理：ある程度まとまったデータを効率よく加工
- ETL(ELT)：Extract(取り出し) Transforme(加工) Load(読み込み) の略。ELTは順が違う。
データの貯め方
- DWH:長期保存用に整理したテーブル。テーブル設計が必要
- データレイク：RAWデータをそのまま保存
分析
- アドホック分析：その場限りの分析→手作業でデータ集計とか
基本的な流れ
- データ集約　→　データマート　→ 可視化

#データのはなし

##集計のコツ

#分散処理
##コンポーネント

##hadoop
##spark
##presto

#データマートの作り方

#ビックデータの蓄積
##メッセージ配送のトレードオフ

##メッセージブローカ

#ビッグデータのパイプライン

ワークフロー管理ツール