0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

EMRのマスターノードとコアノードって何?調べてみた【AWS初心者向け】

Posted at

こんにちは。普段はJavaで開発しているAWS学習中エンジニアです。

Amazon EMRの勉強中、「HDFS(Hadoop Distributed File System)はマスターノードとコアノードで使われる」みたいな説明を読んで、
「そもそもマスターノードとコアノードって何ですか?」となったので、調べてみました。

  1. そもそもAmazon EMRとは?
    >>Amazon EMR は、Apache Hadoop や Apache Spark などのビッグデータフレームワークを簡単に実行し、大量のデータを処理および分析するマネージドクラスタープラットフォームです。

  2. 前提
    1-1. そもそもAmazon EMRとは
    →ビッグデータを分析するAWSのサービス。
    1-2. ノードって
    →点と線で構成図を書いたときの点の部分
    (参照:「分かりそう」で「分からない」でも「分かった」気になれるIT用語辞典
    1-3. EMRを構成するノードは3種類ある

  3. 本題
    スターノード:クラスター全体の管理(ジョブのスケジューリングなど)を担当(司令塔)
    コアノード:実際に処理を行いつつ、HDFS(分散ファイルシステム)にも参加(働きつつ倉庫管理もする人)

イメージ図はこんな感じ
ノードの説明画像.png

AWS初級エンジニアにとっては、ここがつまづきポイントでした。

同じように「マスターノードって何?コアノード?なんですの」と思ってる人の参考になれば嬉しいです!

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?