今回使った時間配分
demoを見せれるようにset up : 2割
demoを見せれるようにsql : 5割
文章まとめ: 3割
なので
demo重視の勉強会にする
What is Re:dash
- Open Source Data Collaboration and Visualization Platform
- BI(Business Intelligence) Tool
- Open Source
- Supported Data Sources
- PostgreSQL,Redshift,Greenplum,MySQL,Google BigQuery,Graphite,MongoDB,ElasticSearch,InfluxDB,Presto,Hive,Impala,Google Spreadsheets,Python,Vertica,Oracle,Treasure Data,Microsoft SQL Server
主な機能
-
クエリーの登録
-
Visualize
- Boxplot
- Chart
- Line
- Bar
- Area
- Pie
- Scatter
- Cohort
- Counter
- Map
- Pivot Table
-
Alerts
-
Share
Set up Re:dash
-
http://docs.redash.io/en/latest/setup.html
- AWS image
- GCP image
- Docker Compose
- Heroku
- Other
Architecture
Production
今回はすべてlocal
Setting up Re:dash from Docker
git clone https://github.com/getredash/redash.git
- Rename
docker-compose-example.yml
todocker-compose.yml
- Set up DB
docker-compose up -d postgres
- Create DB Schema
./setup/docker/create_database.sh
- Run
docker-compose up
Demo
ES+Kibanaと役割重複!?
Difference between ES+Kibana
ES+Kibana
- indexされたデータを分析対象
- 自分でインデックスするデータを予め決めてESにStore
Re:dash
- データストアすべてが対象で分析可能
- データストアは別にある前提
まとめ
- SQLは覚える必要がある
- データストアによってクエリは変わるけど
- SQLはエンジニアだけが使う時代はもう終わってるよ
- 可視化までの超簡単
- データの民主化
- ES+Kibanaとの切り分け重要
- Data Engineer