Docker 上で入門する Apache Hadoop
はじめに 現在は Amazon EMR や Cloud Dataflow 等のクラウドサービスや Apache Beam のような、より入門しやすいフレームワークの登場によって、大量のデータを処...
35
33
Comment3
7 search resultsShowing 1~7 results
Stocked
You need to log-in
Apache Hive 概要 / HiveQL チートシート
はじめに この記事では、Hive の概要と HiveQL の記述方法についてまとめています。大規模データを扱うプロジェクトでは、標準 SQL や Presto 、Hive 等のクエリを書き分けて...
23
16
Comment0
【DMBOK】データモデリングの実施方法
はじめに この記事では、データマネジメント知識体系ガイド 第二版（DAMA-DMBOK SECOND EDITION）の内容を参考にデータモデルの構築（データモデリング）と運用の手順・方法につい...
7
6
Comment0
BigQuery でデータ基盤を構築する際に知っておくべき機能
はじめに BigQuery は、主に分析用途で素早くビッグデータを利活用したい場合に選択肢としてあがる GCP のフルマネージドなデータウェアハウスです。サーバーレスのため、インスタンスの料金は...
16
10
Comment0
GCP Professional Data Engineer 認定資格の勉強法
はじめに Google Cloud Certified Professional Data Engineer を 2020 年 8 月に受験したので、その際に調査した試験内容や実施した勉強方法に...
14
9
Comment0
Apache Beam (Dataflow) 実践入門【Python】
はじめに この記事は、Apache Beam Documentation の内容をベースとしています。 Apache Beam Python SDK でバッチ処理が可能なプログラムを実装し、Cl...
169
112
Comment2
Apache Beam チートシート【Python】
はじめに この記事では、Apache Beam Python SDK で提供されている Transform についてまとめています。簡単に呼び出すことが可能な Transform を一通り知って...
44
31
Comment0
7 search resultsShowing 1~7 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles