1.そもそも分散システムとは？

働いている会社で、ビックデータを扱う機会が増えている人もいるのではないでしょうか？

数百GB、TBレベルの大量のデータを１つのコンピューターで処理することはかなりの時間を要してしまいます。

そこで、複数のコンピューティングを使って分散してデータを処理するシステムのことを分散システムと総称していいます。

上記資料参考サイト：

分散システムの中にApache Sparkというものを聞いたこともある方はいるかと思います。
HadoopとSparkは対の関係ではなく、
Hadoopの一部にSparkがあるのです。

なので、Sparkの構成を知りたい方はまずHadoopとはなんなのかを学習するところから始まります。

2.Hadoopとさまざまな分散システム

分散システムを学習したい方はまず初めにHadoopというシステムを学習する、ないしは聞いたことがある人が多いかと思います

Hadoopは
2006年には単体のプロジェクトとして独立し、Apache　Hadoopとしてリリースされました

Hadoopは１つのソフトウェアではなく、複数のソフトウェアを組み合わせたものになります。

なぜ今1系の勉強をするのか？

2023年12月現在、Hadoopは3系まで存在しています。

まずは1系のシステム構成から学習した方が基礎が分かるので
吸収が速いかと思い、まずは１系から説明いたします。

以下の画像はとりあえず今のところは
『こんな構成してるんだー』くらいの認識でOkです。

個別に見ていきましょう。

HDFS

Hadoop Distributed File System
分散ファイルシステムといいます。

１つのデータをブロック単位でまずは分割します。
時系列のデータあれば

13:00~15:00の50万行のデータを分割
15:00~17:00の50万行のデータを分割

みたいに一定サイズで分割していきます。

コンテナという複数の入れ物みたいなものに分割したデータを格納します。

HDFSの細かな構成

コンテナ単位で分割されるのはわかりました。
イメージですが、どのデータがどのコンテナに格納されているか管理しないといけません。

それにNameNodeというものがあり、まだ、コンテナの集団をDataNodeといいます。
DataNodeにはデータの実態が存在します

ここで、DataNodeが故障したらどうなるでしょうか？
これがデータを分割させた理由になります。
Bのみを保存していた部分が壊れていても、他にBが格納されているので、問題なく稼働することができます。

Name Nodeが壊れた場合は？

図で分かる通り、Name Nodeが壊れた場合は、単一障害点としてHadoopシステムが動かなくなってしまいます。

NameNodeのサービスを維持する仕組みとして、Apache ZooKeeperの分散ロック機構を利用した、Active-Standby構成のNameNode-HAが開発されました。このNameNode-HAにより、Active側のNameNodeが故障した場合に、ダウンタイムなしでStandby側のNameNodeにサービスを引き継げることが可能になりました。

Mapreduceのシステム構成

Mapreduceは実際にデータを処理するソフトウェアになります。

Hadoop MapReduceは、マスターノードであるJobTrackerとスレーブノードであるTaskTrackerで構成されています。 JobTrackerは、MapReduceジョブの管理やTaskTrackerへのタスクの割り当て、TaskTrackerのリソース管理を役割としています。 TaskTrackerは、タスクの実行を役割としています。

上のTask Trackerの１つをクラスタと呼びます。

もし仮にどこかのTaskTrackerが故障した場合は、クラスタを引き離し、別のTask Trackerで再試行されるような設計になっています。

Hadoop2系の登場

Hadoop2系では、分散処理フレームワークHadoop MapReduceの仕組みが変更となり、分散リソース制御機構 Hadoop YARNとMapReduce ApplicationMasterの2つに分離されました。 YARNの登場により、MapReduceに適していない処理については、各自が仕組み(ApplicationMasterとアプリケーション制御)を実装することでMapReduceと同様にYARNの仕組みによって分散処理が可能となりました。 YARN上でのMapReduce以外のアプリケーションでは、Apache Tez、Apache Sparkなど活発に開発されています。

ここからようやくSparkが出てくるわけですね。

次の記事はHadoop2系の説明とSparkのシステムをしたいと思います。