Start HDFS and YARN on Mac

Hadoopをインストール

ここからHadoop Commonをダウンロード。ビルド済なのでmacでも動く。設定などは全て/etc/hadoopの中に含まれている。(2.xであれば)
こいつを擬似分散モードで動かします。
コマンドなどのバイナリはbinとsbinに含まれているのでここにPATHを通しておくといい。あとJAVA_HOMEが適切に設定されていることも確認する。自分はzshrcにこんな風に書いた。

export JAVA_HOME=`/usr/libexec/java_home`
export HADOOP_INSTALL=/Users/kaisasak/hadoop-2.4.1
export PATH=$PATH:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin 

確認

$ hadoop version

設定ファイルの編集

このままでもスタンドアローンモードでは起動するけれど、折角なので擬似分散モードで起動させてみる。
そのためには２つの設定ファイルを書く必要がある。

• core-site.xml(Hadoop Commonの設定ファイル)
• hdfs-site.xml(HDFSの設定ファイル)
• mapred-site.xml(MapReduceの設定ファイル)
• yarn-site.xml(YARNの設定ファイル)

core-site.xml

<?xml version="1.0"?>
<!-- core-site.xml -->
<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost/</value>
  </property>
</configuration>

hdfs-site.xml

<?xml version="1.0"?>
<!-- hdfs-site.xml -->
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>  <!-- Blockのレプリケーション数 -->
  </property>
</configuration>

mapred-site.xml

<?xml version="1.0"?>
<!-- mapred-site.xml -->
<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:8021</value>
  </property>
</configuration>

今回はYARNも使うのでyarn-site.xmlも書く。

yarn-site.xml

<?xml version="1.0"?>
<!-- yarn-site.xml -->
<configuration>
  <property>
    <name>yarn.resoucemanager.address</name>
    <value>localhost:8032</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce.shuffle</value>
  </property>
</configuration>

SSHの設定

擬似分散モードではデーモンをSSHで起動するのでSSHでlocalhostのmacのログインできるようになっていたといけない。System PreferenceからSharingを選んでRemote loginを許可する

ログインを許可するユーザに自分を追加する。(この画像ではAdministratorsだけになってる)

これでsshでlocalhostのMacにログインできるようになる。

HDFSのフォーマット

$ hadoop namenode -format

デーモンの起動

$ start-dfs.sh
$ start-yarn.sh

これで起動完了。