データ分析基盤の理解を深めるために、ビッグデータを支える技術を学習。2017年9月の本で、もっと新しい技術が出ているかもですが、基礎を学び、まとめていきます。今回は、ビッグデータが定着した背景と技術についてです。

スモールデータDWHとビッグデータDWH

従来（スモールデータ）ではRDB（Relational Data Base）から、DWH（データウェアハウス）にデータを蓄積。データ量が増えるにつれ、大量のデータ処理・大量のデータの蓄積などの問題。また、データ自体も多様化し、RDBで対応できない場合も。

そこで、大量のデータ（ビッグデータ）に対応する技術として「Hadoop」と「NoSQL」。

Hadoop

Hadoopは「多数のコンピュータで大量のデータ処理を行う」ためのシステム。

Hadoopは元々、Googleで開発された分散処理フレームワーク「MapReduce」を参考に作られていた。MapReduceを動かすために、Java言語によるプログラミングが必要だったが、「Hive」が開発され、SQLのようなクエリ言語でデータ集計できるようになった。

NoSQLは伝統的なRDBの制約を取り除くことを目指したデータベースの総称。NoSQLの種類は以下の通り。

多数のコンビューターで分散処理するためのハードウェアを揃えて管理するのは簡単ではないので、時間単位でリソース確保できるクラウドサービスを利用。
また、大量のデータを蓄積するためのDWHとしてもクラウドサービスを利用。