Windowsも構築できる、今回はLinux環境のHadoop構築です。
仮想環境はVMwareまたはAWSで簡単構築できます。
ご利用ください。
１．HOST設定
vim /etc/hosts
サーバネームを追加する
（例）
192.168.1.2 Hadoop1
192.168.1.3 Hadoop2
192.168.1.4 Hadoop3
2.Hadoopのインストールと設定
※管理やすいように、同じネームのディレクトリを作成する。
Hadoop、javaのダウンロード
wget http://archive.apache.org/dist/hadoop/core/hadoop-2.7.1/hadoop-2.7.1.tar.gz
wget http://download.oracle.com/otn-pub/java/jdk/8u101-b13/jdk-8u101-linux-x64.tar.gz
ll（ls）でダウンロードファイルを確認する。
そのあと、下記を実行する。
tar -zxvf hadoop-2.7.1.tar.gz
tar -zxvf jdk-8u101-linux-x64.tar.gz
JAVAの設定
mkdir /usr/java
chown hadoop:hadoop /usr/java/
ll /usr で権限を確認する。
（必ずhadoopで！権限がhadoopではない場合、問題があるかもしれない）
vim /etc/profile
ファイルの設定は下記です。
export JAVA_HOME=/usr/java/jdk1.8.0_73
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
cp -r jdk1.8.0_73 /usr/java/
java -version
以上、javaの設定が終わる。
hadoopの設定
mkdir /usr/hadoop
cp -r hadoop-2.7.1 /usr/hadoop
chown hadoop:hadoop /usr/hadoop/
ll /usr/
hadoopフォルダの権限を確認する。
cd /usr/hadoop/hadoop-2.7.1/
mkdir tmp //下記core-site.xmlに使用のため
hadoopの設定フォルダは/etc/hadoopです。
Hadoopにjdkを指定する。
hadoop-env.sh、yarn-env.shに下記を追加する。
export JAVA_HOME=/usr/java/jdk1.8.0_73
core-site.xmlの設定
vim etc/hadoop/core-site.xml
<!-- HDFS file path -->
fs.defaultFS
hdfs://192.168.1.2:9000
io.file.buffer.size
131072
hadoop.tmp.dir
file:/usr/hadoop/hadoop-2.7.1/tmp
Abasefor other temporary directories.
hdfs-site.xmlの設定
vim etc/hadoop/hdfs-site.xml
dfs.namenode.secondary.http-address
192.168.1.2:9001
dfs.namenode.name.dir
file:/usr/hadoop/hadoop-2.7.1/dfs/name
dfs.datanode.data.dir
file:/usr/hadoop/hadoop-2.7.1/dfs/data
dfs.replication
1
dfs.webhdfs.enabled
true
※dfs.namenode.name.dirなどは環境によって指定ください。
mkdir dfs
mkdir dfs/name
mkdir dfs/data
・mapred-site.xmlの設定
テンプレートをコピーして作成する。
cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
vim etc/hadoop/mapred-site.xml
mapreduce.framework.name
yarn ⇒yarnを指定する（sparkなども設定できる）
⇒JOB履歴サーバ
mapreduce.jobhistory.address
192.168.1.2:10020
⇒履歴Webサーバ
mapreduce.jobhistory.webapp.address
192.168.1.2:19888
・yarn-site.xmlの設定
vim etc/hadoop/yarn-site.xml
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler
yarn.resourcemanager.address
192.168.1.2:8032
yarn.resourcemanager.scheduler.address
192.168.1.2:8030
yarn.resourcemanager.resource-tracker.address
192.168.1.2:8035
yarn.resourcemanager.admin.address
192.168.1.2:8033
yarn.resourcemanager.webapp.address
192.168.1.2:8088
hadoopの権限設定（重要！）
chown -R hadoop:hadoop /usr/hadoop/hadoop-2.7.1/
bin/hadoop namenode -format
「xxx/name has been successfully formated.」メッセージが出す、
フォーマットが正常終了。
動作確認
HDFS起動！
sbin/start-dfs.sh
下記で状態を確認する。
bin/hadoop dfsadmin -report
またはURLで確認できる！
http://192.168.1.2:50070/dfshealth.html#tab-overview
yarnの起動
sbin/start-yarn.sh
http://192.168.1.2:8080/cluster
Congradulations !
Welcome to send mail to me.
技術交流：erica_lyz@yahoo.co.jp
-以上-