株式会社DMM.comラボ ビッグデータ部 加嵜 長門
株式会社DMM.comラボ ビッグデータ部 鈴木 翔太
ビッグデータ処理のためのSQL活用術
- 「だれでもデータを分析できる基盤」を作る
- 社内へのSQLスキルアップ/導入
システム概要
- スキームの殆どの箇所でSQLを使用
- 要素
- Hive
- sqoop
- Presto
ビッグデータ処理に役立つSQL構文
WITH句
CASE式
LATERAL句 * テーブル関数
- テーブル関数 = TVFだったｗ
- http://lets.postgresql.jp/documents/technical/lateral/1
- jsonとかをカラムデータとしてもってる時に、テーブルに復元できる
WINDOW関数
- OLAP関数
- 行をまたがって列を取れる
- start/end日みたいな奴