VagrantでCDHの擬似分散環境を構築するメモ
事前準備
- Virtual Boxのインストール: https://www.virtualbox.org/
- Vagrantのインストール: https://www.vagrantup.com/
- Vagrantの基本コマンド
vagrant box add <BOX_NAME> <URL> # boxの追加
vagrant box remove <BOX_NAME> # boxの削除
vagrant box list # boxのリスト
vagrant init <BOX_NAME> # boxから仮想マシンを初期化（VagrantFile作成）
vagrant up # 仮想マシンの起動
vagrant status # 仮想マシンの状態確認
vagrant halt # 仮想マシンの停止
vagrant destroy # 仮想マシンの削除
vagrant ssh # 仮想マシンにSSHでログイン
- Vagrant box
- box search page(official): https://atlas.hashicorp.com/boxes/search
- box url list: http://www.vagrantbox.es/
仮想マシンの作成
仮想マシン用のディレクトリを作成し、仮想マシンを初期化(Vagrantfile作成)
$ mkdir test
$ cd test
$ vagrant init
Vagrantfileの編集
Vagrantfile
Vagrant.configure(2) do |config|
config.vm.box = "nrel/CentOS-6.5-x86_64"
config.vm.hostname = "test"
config.vm.provider "virtualbox" do |vb|
vb.name = "test"
vb.memory = "2048"
end
end
仮想マシン起動、SSHログイン
$ vagrant up
$ vagrant ssh
OS基本設定
アップデート
$ sudo yum check-update
$ sudo yum -y update
不要サービス無効化
$ sudo chkconfig iscsi off
$ sudo chkconfig iscsid off
$ sudo chkconfig iptables off
$ sudo chkconfig ip6tables off
$ sudo chkconfig mdmonitor off
$ sudo chkconfig netfs off
$ sudo chkconfig nfslock off
$ sudo chkconfig postfix off
$ sudo chkconfig udev-post off
時刻設定
ハードウェアクロックの設定
$ echo 'zone="Japan"' > ./tmp_clock
$ sudo mv ./tmp_clock /etc/sysconfig/clock
タイムゾーンをJSTに変更
$ sudo cp -p /usr/share/zoneinfo/Japan /etc/localtime
ntpdインストール
$ sudo yum install ntp
ntp.nict.jpに同期するよう設定
/etc/ntp.conf
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
server ntp.nict.jp iburst
いったん同期
$ sudo ntpdate ntp.nict.jp
サービス起動
$ sudo service ntpd start
状態確認（*がついていればOK）
$ sudo ntpq -p
remote refid st t when poll reach delay offset jitter
==============================================================================
*ntp-b3.nict.go. .NICT. 1 u 2 64 1 39.534 68.611 0.000
自動起動設定
$ sudo chkconfig ntpd on
ツールのインストール
screen
$ sudo yum install screen
git
$ sudo yum install git
EPEL
epel-releaseというパッケージをインストールすると、拡張パッケージがインストールできるようになる。以下で最新版を確認して使用する。
http://ftp.riken.jp/Linux/fedora/epel/6/x86_64/repoview/epel-release.html
$ wget http://ftp.riken.jp/Linux/fedora/epel/6/x86_64/epel-release-6-8.noarch.rpm
$ sudo yum localinstall epel-release-6-8.noarch.rpm
Java
OracleのJDKを入れたほうがいいという風潮があるようなので個別に入れる
Oracleのダウンロードページでは"Accept License Agreement"にチェックしないとダウンロードできないので、いったんローカルにダウンロードしてvagrantの仮想マシンとの共有フォルダに配置する
Oracle ダウンロードページ
http://www.oracle.com/technetwork/java/javase/downloads/index.html
Linux x64向けRPMを取得（今回は jdk-8u60-linux-x64.rpm）
ホストマシンでvagrantの共有フォルダにダウンロードしたRPMを配置
（デフォルトではホストマシンでVagrantfileを格納しているディレクトリが仮想マシンの/vagrantとして共有されている）
仮想マシン上でrpmパッケージをインストール
$ sudo yum localinstall /vagrant/share/jdk-8u60-linux-x64.rpm
確認
$ java -version
java version "1.8.0_60"
Java(TM) SE Runtime Environment (build 1.8.0_60-b27)
Java HotSpot(TM) 64-Bit Server VM (build 25.60-b23, mixed mode)
Scala
CentOSのレポジトリに含まれていないので、公式サイトからrpmをダウンロードしてインストールする
http://www.scala-lang.org/index.html
$ wget http://downloads.typesafe.com/scala/2.11.7/scala-2.11.7.rpm
$ sudo yum localinstall scala-2.11.7.rpm
sbtは以下のページを参考にyumのレポジトリファイルを追加してインストール
http://www.scala-sbt.org/0.13/tutorial/Installing-sbt-on-Linux.html
$ curl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.repo
$ sudo mv bintray-sbt-rpm.repo /etc/yum.repos.d/
$ sudo yum install sbt
/etc/yum.repos.d/bintray-sbt-rpm.repo
#bintray--sbt-rpm - packages by from Bintray
[bintray--sbt-rpm]
name=bintray--sbt-rpm
baseurl=http://dl.bintray.com/sbt/rpm
gpgcheck=0
enabled=1
sbtの依存関係でopenjdkのjava(java-1.6.0-openjdk.x86_64)がインストールされてしまうので、alternativesでOracleのjavaが設定されていることを確認しておく
$ alternatives --config java
2 プログラムがあり 'java' を提供します。
選択 コマンド
-----------------------------------------------
*+ 1 /usr/java/jdk1.8.0_60/jre/bin/java
2 /usr/lib/jvm/jre-1.6.0-openjdk.x86_64/bin/java
確認
$ scala -version
Scala code runner version 2.11.7 -- Copyright 2002-2013, LAMP/EPFL
Python
CentOS6.5にはpython2.6が入っている。2.7以降は別途個別にインストールする必要があるのでいったんそのまま使う。
$ python --version
Python 2.6.6
pip
EPELからインストール
$ sudo yum install python-pip
R
R本体
EPELからインストール
$ sudo yum install R
R Studio Server
RPMパッケージをダウンロードしてローカルインストール
$ wget https://download2.rstudio.org/rstudio-server-rhel-0.99.484-x86_64.rpm
$ sudo yum localinstall rstudio-server-rhel-0.99.484-x86_64.rpm
ポートフォワード設定 ※ホスト側で作業
Vagrantfile編集
Vagrantfile
# R Studio Server
config.vm.network "forwarded_port", guest: 8787, host: 8787
仮想マシンを再起動
$ vagrant reload
CDH
Hadoop(擬似分散)
yumレポジトリ追加
$ wget http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/cloudera-cdh5.repo
$ sudo mv cloudera-cdh5.repo /etc/yum.repos.d/
hadoop（擬似分散モード）インストール
$ sudo yum install hadoop-conf-pseudo
hdfsフォーマット
$ sudo su - hdfs
$ hdfs namenode -format
$ exit
hdfs起動
for x in `cd /etc/init.d ; ls hadoop-hdfs-*` ; do sudo service $x start ; done
hdfs初期設定スクリプト実行
$ sudo /usr/lib/hadoop/libexec/init-hdfs.sh
ファイルディスクリプタ:数の上限を増やす
/etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536
Hive
hiveインストール
$ sudo yum install hive
metastore関連パッケージインストール
$ sudo yum install hive-metastore mysql-server mysql-connector-java
hive metastoreをmysqlに設定(参考)
$ sudo -u hive hdfs dfs -mkdir /user/hive/warehouse
$ sudo -u hive hdfs dfs -chmod 1777 /user/hive/warehouse
$ sudo cp /usr/share/java/mysql-connector-java.jar /usr/lib/hive/lib/.
$ sudo service mysqld start
$ sudo chkconfig mysqld on
$ sudo /usr/bin/mysql_secure_installation
Enter current password for root (enter for none): <- 空のままENTER
Set root password? [Y/n] y
New password: <- mysqlのrootユーザのパスワード
Re-enter new password: <- 同上
Remove anonymous users? [Y/n] Y
Disallow root login remotely? [Y/n] n
Remove test database and access to it? [Y/n] Y
Reload privilege tables now? [Y/n] Y
$ cd /usr/lib/hive/scripts/metastore/upgrade/mysql
$ mysql -u root -p
mysql> create database metastore;
mysql> use metastore;
mysql> source hive-schema-1.1.0.mysql.sql;
mysql> create user 'hive'@'localhost' identified by 'mypassword';
mysql> REVOKE ALL PRIVILEGES, GRANT OPTION FROM 'hive'@'localhost';
mysql> GRANT SELECT,INSERT,UPDATE,DELETE,LOCK TABLES,EXECUTE ON metastore.* TO 'hive'@'localhost';
mysql> FLUSH PRIVILEGES;
mysql> quit;
$ sudo vi /usr/lib/hive/conf/hive-site.xml
hive-site.xml
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost/metastore?createDatabaseIfNotExist=true</value>
<description>the URL of the MySQL database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>mypassword</value>
</property>
hive-server2インストール
$ sudo yum install hive-server2
beeline使い方
$ beeline
beeline> !connect jdbc:hive2://localhost:10000
scan complete in 3ms
Connecting to jdbc:hive2://localhost:10000
Enter username for jdbc:hive2://localhost:10000: user
Enter password for jdbc:hive2://localhost:10000: pass
Connected to: Apache Hive (version 1.1.0-cdh5.4.7)
Driver: Hive JDBC (version 1.1.0-cdh5.4.7)
Transaction isolation: TRANSACTION_REPEATABLE_READ
0: jdbc:hive2://localhost:10000> show databases;
+----------------+--+
| database_name |
+----------------+--+
| default |
+----------------+--+
1 row selected (0.213 seconds)
0: jdbc:hive2://localhost:10000> !quit
$
Spark
Sparkインストール
$ sudo yum install spark-core
$ sudo yum install spark-master
$ sudo yum install spark-worker
$ sudo yum install spark-history-server
$ sudo yum install spark-python
Sparkログレベル変更
$ sudo cp -p /etc/spark/conf/log4j.properties.template /etc/spark/conf/log4j.properties
/etc/spark/conf/log4j.properties
#log4j.rootCategory=INFO, console
log4j.rootCategory=WARN, console
HBase
$ sudo yum install hbase
Mahout
$ sudo yum install mahout
Hue
$ sudo yum install hue
再起動
ポートフォワード設定 ※ホスト側で作業
Vagrantfile編集
Vagrantfile
# YARN ResourceManager, NodeManager
config.vm.network "forwarded_port", guest: 8088, host: 8088
config.vm.network "forwarded_port", guest: 50060, host: 50060
# HDFS NameNode, DataNode
config.vm.network "forwarded_port", guest: 50070, host: 50070
config.vm.network "forwarded_port", guest: 50075, host: 50075
# Spark Master, Worker, Driver, HistoryServer
config.vm.network "forwarded_port", guest: 8080, host: 8080
config.vm.network "forwarded_port", guest: 8081, host: 8081
config.vm.network "forwarded_port", guest: 4040, host: 4040
config.vm.network "forwarded_port", guest: 18080, host: 18080
# Hue
config.vm.network "forwarded_port", guest: 8888, host: 8888
仮想マシンを再起動
$ vagrant reload
box化
vagrantで再利用可能なboxファイルを作成しておく。
※仮想マシン上で作業
$ sudo yum clean all
$ exit
※ホストOS側で作業
$ vagrant halt
$ vagrant package --output test_cdh5.box
boxの利用方法
vagrantにboxを追加
$ vagrant add test_cdh5 test_cdh5.box
仮想マシン用のディレクトリを作成して初期化
$ mkdir test_cdh5
$ cd test_cdh5
$ vagrant init
Vagrantfileを編集
Vagrantfile
# -*- mode: ruby -*-
# vi: set ft=ruby :
Vagrant.configure(2) do |config|
# boxの指定
config.vm.box = "tlab_cdh5"
# hostnameの指定
config.vm.hostname = "test2"
# ポートフォワードの指定
## R Studio Server
config.vm.network "forwarded_port", guest: 8787, host: 8787
## YARN ResourceManager, NodeManager
config.vm.network "forwarded_port", guest: 8088, host: 8088
config.vm.network "forwarded_port", guest: 50060, host: 50060
## HDFS NameNode, DataNode
config.vm.network "forwarded_port", guest: 50070, host: 50070
config.vm.network "forwarded_port", guest: 50075, host: 50075
## Spark Master, Worker, Driver, HistoryServer
config.vm.network "forwarded_port", guest: 8080, host: 8080
config.vm.network "forwarded_port", guest: 8081, host: 8081
config.vm.network "forwarded_port", guest: 4040, host: 4040
config.vm.network "forwarded_port", guest: 18080, host: 18080
## Hue
config.vm.network "forwarded_port", guest: 8888, host: 8888
# Virtualboxの設定
config.vm.provider "virtualbox" do |vb|
vb.name = "test2"
vb.memory = "2048"
end
end
仮想マシンの起動（初回起動時に仮想マシン作成）
$ vagrant up
SSHログイン
$ vagrant ssh
仮想マシン上で作業
[vagrant@test2 ~]$