Help us understand the problem. What is going on with this article?

SQL視点で辿るHadoopのだいたいの歴史

はじめに

Hadoopとは

Aapche Hadoop(以降、Hadoop)とは、多種/大量なデータを蓄積し、高速に分散処理するための基盤となるOSSのミドルウェアです。Hadoopの周辺では、Hadoopをより高度に利用するための関連OSSが登場してきており、これらをうまく組み合わせて活用することでデータの収集から蓄積、分析、結果の可視化までをカバーすることができます。

エコシステム

Hadoopの周辺で関連OSS群が結びつき、補いながら共存している様子はHadoopエコシステムとも呼ばれています。ただ新しいOSSは次々にリリースされることもあり、エコシステムは肥大化しています。経験がまだ高くない人が見ると、いったい何と何を組み合わせればよいのか、エコシステムに含まれるOSSはどのような役割をもっているものなのか分かりにくくなっています。

そこでこの記事では、Hdoopエコシステムが大きくなるまでの、だいたいの成長過程をSQL on Hadoopの視点で順に追ってみます。

Hadoopの歴史

Hadoop登場当初

ストレージサービスとして分散ファイルシステムのHDFS、並列分散処理フレームワークとしてのMapReduceを合わせてHadoopと呼んでいました。このフレームワークを活用して、ユーザ(アプリ開発者)は並列分散アプリケーションを開発します。
fig1.png

ただユーザはMapReduceのAPIを理解し駆使しなければならず、敷居や難易度が高いものでした。

SQLクエリエンジンHive登場

アプリ開発者の多くはSQLを使い慣れていることもあり、データ処理をするのであればSQL(風の言語)を使いたいというニーズが生まれます。そしてHiveが登場します。HiveはHiveQLというSQLベースの言語を提供するので、SQLになれたユーザは処理ロジックの開発に注力できるようになりました。
fig2.png

ここまでで分かる通り、Hadoopはファイルシステム(HDFS)にデータを蓄積して処理するものです。SQL(風の言語)でデータ処理できますが、リレーショナルデータベース(RDB)とは異なり、あくまでファイルシステムを操作している点に注意が必要です。つまりACIDトランザクションはサポートされませんし、テナントに相当する機能もないのでファイルシステムのパーミッションで考えることが原則です。(一部の操作にACIDをサポートしたり、認証サービスを提供するOSSも最近ではリリースされてはいます。)

リソーススケジューラYARNが独立

Hadoopが2系へメジャーアップグレードして大きく変わったことがあります。それはMapReduceからリソーススケジューラ機能がYARNというOSSとして切り出されて独立したことです。YARNが登場したことで、同一クラスタ上で複数のフレームワークを用途によって使い分けるということが可能になりました。
fig3.png

用途の変化とOSSの多様化

Hadoopはサーバやディスクを並列に使うことでスループットを高め、大量データを効率的にバッチ処理することが主でした。これは蓄積したデータの使い道がレポーティングだったためです。それが徐々にデータサイエンティスト等によるインタラクティブな分析にも貯めたデータを使いたいというニーズが生まれ、スループット重視ではなくレイテンシを重視したOSSが必要だということになりました。

そこで低レイテンシなクエリエンジンImpalaや、DAGによる効率的な処理を実現するフレームワークTez、表形式のデータを高頻度で格納・参照することに特化したストレージサービスKuduなどが登場しました。
fig4.png

このようにして、SQLの視点ではありましたが、Hadoopのエコシステムは成長してきました。

おわりに

本記事ではHadoopの歴史をSQLの視点でおおまかに辿ってみました。Hadoopエコシステムの理解促進の一助となれば幸いです。

Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
No comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
ユーザーは見つかりませんでした