こんにちは。普段はJavaで開発しているAWS学習中エンジニアです。
Amazon EMRの勉強中、「HDFS(Hadoop Distributed File System)はマスターノードとコアノードで使われる」みたいな説明を読んで、
「そもそもマスターノードとコアノードって何ですか?」となったので、調べてみました。
-
そもそもAmazon EMRとは?
>>Amazon EMR は、Apache Hadoop や Apache Spark などのビッグデータフレームワークを簡単に実行し、大量のデータを処理および分析するマネージドクラスタープラットフォームです。 -
前提
1-1. そもそもAmazon EMRとは
→ビッグデータを分析するAWSのサービス。
1-2. ノードって
→点と線で構成図を書いたときの点の部分
(参照:「分かりそう」で「分からない」でも「分かった」気になれるIT用語辞典)
1-3. EMRを構成するノードは3種類ある -
本題
スターノード:クラスター全体の管理(ジョブのスケジューリングなど)を担当(司令塔)
コアノード:実際に処理を行いつつ、HDFS(分散ファイルシステム)にも参加(働きつつ倉庫管理もする人)
AWS初級エンジニアにとっては、ここがつまづきポイントでした。
同じように「マスターノードって何?コアノード?なんですの」と思ってる人の参考になれば嬉しいです!