Help us understand the problem. What is going on with this article?

Hadoop大規模サーバの構築

More than 1 year has passed since last update.

Windowsも構築できる、今回はLinux環境のHadoop構築です。
仮想環境はVMwareまたはAWSで簡単構築できます。
ご利用ください。

1.HOST設定

vim /etc/hosts
サーバネームを追加する
(例)
192.168.1.2 Hadoop1
192.168.1.3 Hadoop2
192.168.1.4 Hadoop3

2.Hadoopのインストールと設定

※管理やすいように、同じネームのディレクトリを作成する。

Hadoop、javaのダウンロード
wget http://archive.apache.org/dist/hadoop/core/hadoop-2.7.1/hadoop-2.7.1.tar.gz
wget http://download.oracle.com/otn-pub/java/jdk/8u101-b13/jdk-8u101-linux-x64.tar.gz

ll(ls)でダウンロードファイルを確認する。
そのあと、下記を実行する。
tar -zxvf hadoop-2.7.1.tar.gz
tar -zxvf jdk-8u101-linux-x64.tar.gz

JAVAの設定

mkdir /usr/java
chown hadoop:hadoop /usr/java/
ll /usr で権限を確認する。
(必ずhadoopで!権限がhadoopではない場合、問題があるかもしれない)

vim /etc/profile
ファイルの設定は下記です。
export JAVA_HOME=/usr/java/jdk1.8.0_73
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin

cp -r jdk1.8.0_73 /usr/java/
java -version 
以上、javaの設定が終わる。

hadoopの設定

mkdir /usr/hadoop
cp -r hadoop-2.7.1 /usr/hadoop
chown hadoop:hadoop /usr/hadoop/

ll /usr/
hadoopフォルダの権限を確認する。

cd /usr/hadoop/hadoop-2.7.1/
mkdir tmp //下記core-site.xmlに使用のため

hadoopの設定フォルダは/etc/hadoopです。

Hadoopにjdkを指定する。
hadoop-env.sh、yarn-env.shに下記を追加する。
export JAVA_HOME=/usr/java/jdk1.8.0_73

core-site.xmlの設定
vim etc/hadoop/core-site.xml


<!-- HDFS file path -->

fs.defaultFS
hdfs://192.168.1.2:9000


io.file.buffer.size
131072


hadoop.tmp.dir
file:/usr/hadoop/hadoop-2.7.1/tmp
Abasefor other temporary directories.


hdfs-site.xmlの設定
vim etc/hadoop/hdfs-site.xml


dfs.namenode.secondary.http-address
192.168.1.2:9001


dfs.namenode.name.dir
file:/usr/hadoop/hadoop-2.7.1/dfs/name


dfs.datanode.data.dir
file:/usr/hadoop/hadoop-2.7.1/dfs/data


dfs.replication
1


dfs.webhdfs.enabled
true

※dfs.namenode.name.dirなどは環境によって指定ください。
mkdir dfs
mkdir dfs/name
mkdir dfs/data

・mapred-site.xmlの設定
テンプレートをコピーして作成する。
cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
vim etc/hadoop/mapred-site.xml



mapreduce.framework.name
yarn ⇒yarnを指定する(sparkなども設定できる)

        ⇒JOB履歴サーバ
mapreduce.jobhistory.address
192.168.1.2:10020

        ⇒履歴Webサーバ
mapreduce.jobhistory.webapp.address
192.168.1.2:19888

・yarn-site.xmlの設定
vim etc/hadoop/yarn-site.xml


yarn.nodemanager.aux-services
mapreduce_shuffle


yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler


yarn.resourcemanager.address
192.168.1.2:8032


yarn.resourcemanager.scheduler.address
192.168.1.2:8030


yarn.resourcemanager.resource-tracker.address
192.168.1.2:8035


yarn.resourcemanager.admin.address
192.168.1.2:8033


yarn.resourcemanager.webapp.address
192.168.1.2:8088

hadoopの権限設定(重要!)
chown -R hadoop:hadoop /usr/hadoop/hadoop-2.7.1/

bin/hadoop namenode -format
「xxx/name has been successfully formated.」メッセージが出す、
フォーマットが正常終了。

動作確認

HDFS起動!
sbin/start-dfs.sh

下記で状態を確認する。
bin/hadoop dfsadmin -report

またはURLで確認できる!
http://192.168.1.2:50070/dfshealth.html#tab-overview

yarnの起動
sbin/start-yarn.sh
http://192.168.1.2:8080/cluster

Congradulations !
Welcome to send mail to me.
技術交流:erica_lyz@yahoo.co.jp

-以上-

Why do not you register as a user and use Qiita more conveniently?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away