Hadoop大規模サーバの構築

Windowsも構築できる、今回はLinux環境のHadoop構築です。
仮想環境はVMwareまたはAWSで簡単構築できます。
ご利用ください。

#１．HOST設定
vim /etc/hosts
サーバネームを追加する
（例）
192.168.1.2 Hadoop1
192.168.1.3 Hadoop2
192.168.1.4 Hadoop3

#2.Hadoopのインストールと設定
※管理やすいように、同じネームのディレクトリを作成する。

Hadoop、javaのダウンロード
wget http://archive.apache.org/dist/hadoop/core/hadoop-2.7.1/hadoop-2.7.1.tar.gz
wget http://download.oracle.com/otn-pub/java/jdk/8u101-b13/jdk-8u101-linux-x64.tar.gz

ll（ls）でダウンロードファイルを確認する。
そのあと、下記を実行する。
tar -zxvf hadoop-2.7.1.tar.gz
tar -zxvf jdk-8u101-linux-x64.tar.gz

#JAVAの設定
mkdir /usr/java
chown hadoop:hadoop /usr/java/
ll /usr で権限を確認する。
（必ずhadoopで！権限がhadoopではない場合、問題があるかもしれない）

vim /etc/profile
ファイルの設定は下記です。
export JAVA_HOME=/usr/java/jdk1.8.0_73
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin

cp -r jdk1.8.0_73 /usr/java/
java -version　
以上、javaの設定が終わる。

#hadoopの設定
mkdir /usr/hadoop
cp -r hadoop-2.7.1 /usr/hadoop
chown hadoop:hadoop /usr/hadoop/

ll /usr/
hadoopフォルダの権限を確認する。

cd /usr/hadoop/hadoop-2.7.1/
mkdir tmp //下記core-site.xmlに使用のため

hadoopの設定フォルダは/etc/hadoopです。

Hadoopにjdkを指定する。
hadoop-env.sh、yarn-env.shに下記を追加する。
export JAVA_HOME=/usr/java/jdk1.8.0_73

core-site.xmlの設定
vim etc/hadoop/core-site.xml

fs.defaultFS hdfs://192.168.1.2:9000 io.file.buffer.size 131072 hadoop.tmp.dir file:/usr/hadoop/hadoop-2.7.1/tmp Abasefor other temporary directories.

hdfs-site.xmlの設定
vim etc/hadoop/hdfs-site.xml

dfs.namenode.secondary.http-address 192.168.1.2:9001 dfs.namenode.name.dir file:/usr/hadoop/hadoop-2.7.1/dfs/name dfs.datanode.data.dir file:/usr/hadoop/hadoop-2.7.1/dfs/data dfs.replication 1 dfs.webhdfs.enabled true

※dfs.namenode.name.dirなどは環境によって指定ください。
mkdir dfs
mkdir dfs/name
mkdir dfs/data

・mapred-site.xmlの設定
テンプレートをコピーして作成する。
cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
vim etc/hadoop/mapred-site.xml

mapreduce.framework.name yarn ⇒yarnを指定する（sparkなども設定できる） 　　　　　　　　⇒JOB履歴サーバ mapreduce.jobhistory.address 192.168.1.2:10020 　　　　　　　　⇒履歴Webサーバ mapreduce.jobhistory.webapp.address 192.168.1.2:19888

・yarn-site.xmlの設定
vim etc/hadoop/yarn-site.xml

yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler yarn.resourcemanager.address 192.168.1.2:8032 yarn.resourcemanager.scheduler.address 192.168.1.2:8030 yarn.resourcemanager.resource-tracker.address 192.168.1.2:8035 yarn.resourcemanager.admin.address 192.168.1.2:8033 yarn.resourcemanager.webapp.address 192.168.1.2:8088

hadoopの権限設定（重要！）
chown -R hadoop:hadoop /usr/hadoop/hadoop-2.7.1/

bin/hadoop namenode -format
「xxx/name has been successfully formated.」メッセージが出す、
フォーマットが正常終了。

#動作確認
HDFS起動！
sbin/start-dfs.sh

下記で状態を確認する。
bin/hadoop dfsadmin -report

またはURLで確認できる！
http://192.168.1.2:50070/dfshealth.html#tab-overview

yarnの起動
sbin/start-yarn.sh
http://192.168.1.2:8080/cluster

Congradulations !
Welcome to send mail to me.
技術交流：[e-mail]

-以上-