この記事は、新興クラウドプロバイダー「Packet」のDocker環境にHDP2.5 Sandboxを展開したときのメモです。Packetでは標準でRancherOSや、CoreOSを選択できますが、ここではCentOS7を使っています。
参考情報
- 「HDP SANDBOX on AWS EC2」: ほぼ同じ手順ですが、今回はPacketの環境ということと、Dockerコマンドまでメモしておきたかったので。このブログに残しておきます。
- 「Installing Docker Version of Sandbox on Mac」: Dockerのコマンドなどはこちらを参考にしました。
- Packetでサーバーをデプロイしログオン。今回は、Atomの物理サーバー（0.05$/H、Atom C2550 x1、8 GB of DDR3 RAM、80 GB of SSD、1Gbps Network）をデプロイ。Packetでの操作は「ソフトバンクが出資する2014年設立のクラウドプロバイダー「Packet」とは」を参考
- 以下、デプロイしたサーバーにログオンした後の作業
# yum -y update
# cat >/etc/yum.repos.d/docker.repo <<-"EOF"
[dockerrepo]
name=Docker Repository
baseurl=https://yum.dockerproject.org/repo/main/centos/$releasever
enabled=1
gpgcheck=1
gpgkey=https://yum.dockerproject.org/gpg
EOF
# yum install -y docker-engine
# service docker start
# docker version
Client:
Version: 1.12.3
API version: 1.24
Go version: go1.6.3
Git commit: 6b644ec
Built:
OS/Arch: linux/amd64
Server:
Version: 1.12.3
API version: 1.24
Go version: go1.6.3
Git commit: 6b644ec
Built:
OS/Arch: linux/amd64
# cp /usr/lib/systemd/system/docker.service /etc/systemd/system/docker.service
# vi /etc/systemd/system/docker.service
ExecStart=/usr/bin/dockerd --storage-opt=dm.basesize=30G
# systemctl daemon-reload
# systemctl restart docker
# docker info
# curl -O http://hortonassets.s3.amazonaws.com/2.5/HDP_2.5_docker.tar.gz
# gunzip HDP_2.5_docker.tar.gz
# docker load < HDP_2.5_docker.tar
b1b065555b8a: Loading layer 202.2 MB/202.2 MB
3901568415a3: Loading layer 13.85 GB/13.85 GB
Loaded image: sandbox:latest
# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
sandbox latest a4150ee4e70b 6 weeks ago 13.96 GB
# docker run -v hadoop:/hadoop --name sandbox --hostname "sandbox.hortonworks.com" --privileged -d \
-p 3000:3000 \
-p 6080:6080 \
-p 9090:9090 \
-p 9000:9000 \
-p 8000:8000 \
-p 8020:8020 \
-p 42111:42111 \
-p 10500:10500 \
-p 16030:16030 \
-p 8042:8042 \
-p 8040:8040 \
-p 2100:2100 \
-p 4200:4200 \
-p 4040:4040 \
-p 8050:8050 \
-p 9996:9996 \
-p 9995:9995 \
-p 8080:8080 \
-p 8088:8088 \
-p 8886:8886 \
-p 8889:8889 \
-p 8443:8443 \
-p 8744:8744 \
-p 8888:8888 \
-p 8188:8188 \
-p 8983:8983 \
-p 1000:1000 \
-p 1100:1100 \
-p 11000:11000 \
-p 10001:10001 \
-p 15000:15000 \
-p 10000:10000 \
-p 8993:8993 \
-p 1988:1988 \
-p 5007:5007 \
-p 50070:50070 \
-p 19888:19888 \
-p 16010:16010 \
-p 50111:50111 \
-p 50075:50075 \
-p 50095:50095 \
-p 18080:18080 \
-p 60000:60000 \
-p 8090:8090 \
-p 8091:8091 \
-p 8005:8005 \
-p 8086:8086 \
-p 8082:8082 \
-p 60080:60080 \
-p 8765:8765 \
-p 5011:5011 \
-p 6001:6001 \
-p 6003:6003 \
-p 6008:6008 \
-p 1220:1220 \
-p 21000:21000 \
-p 6188:6188 \
-p 61888:61888 \
-p 2181:2181 \
-p 2222:22 \
sandbox /usr/sbin/sshd -D
254e0e4e753f9d5edddcb21ca0f5be6d25881a51857cc64a9f40486331158b5d
# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
254e0e4e753f sandbox "/usr/sbin/sshd -D" 31 seconds ago Up 14 seconds 0.0.0.0:1000->1000/tcp, 0.0.0.0:1100->1100/tcp, 0.0.0.0:1220->1220/tcp, 0.0.0.0:1988->1988/tcp, 0.0.0.0:2100->2100/tcp, 0.0.0.0:2181->2181/tcp, 0.0.0.0:4040->4040/tcp, 0.0.0.0:4200->4200/tcp, 0.0.0.0:5007->5007/tcp, 0.0.0.0:5011->5011/tcp, 0.0.0.0:6001->6001/tcp, 0.0.0.0:6003->6003/tcp, 0.0.0.0:6008->6008/tcp, 0.0.0.0:6080->6080/tcp, 0.0.0.0:6188->6188/tcp, 0.0.0.0:8000->8000/tcp, 0.0.0.0:8005->8005/tcp, 0.0.0.0:8020->8020/tcp, 0.0.0.0:8040->8040/tcp, 0.0.0.0:8042->8042/tcp, 0.0.0.0:8050->8050/tcp, 0.0.0.0:8080->8080/tcp, 0.0.0.0:8082->8082/tcp, 0.0.0.0:8086->8086/tcp, 0.0.0.0:8088->8088/tcp, 0.0.0.0:8090-8091->8090-8091/tcp, 0.0.0.0:8188->8188/tcp, 0.0.0.0:8443->8443/tcp, 0.0.0.0:8744->8744/tcp, 0.0.0.0:8765->8765/tcp, 0.0.0.0:8886->8886/tcp, 0.0.0.0:8888-8889->8888-8889/tcp, 0.0.0.0:8983->8983/tcp, 0.0.0.0:8993->8993/tcp, 0.0.0.0:9000->9000/tcp, 0.0.0.0:9090->9090/tcp, 0.0.0.0:9995-9996->9995-9996/tcp, 0.0.0.0:10000-10001->10000-10001/tcp, 0.0.0.0:10500->10500/tcp, 0.0.0.0:11000->11000/tcp, 0.0.0.0:15000->15000/tcp, 0.0.0.0:16010->16010/tcp, 0.0.0.0:16030->16030/tcp, 0.0.0.0:18080->18080/tcp, 0.0.0.0:19888->19888/tcp, 0.0.0.0:21000->21000/tcp, 0.0.0.0:42111->42111/tcp, 0.0.0.0:50070->50070/tcp, 0.0.0.0:50075->50075/tcp, 0.0.0.0:50095->50095/tcp, 0.0.0.0:50111->50111/tcp, 0.0.0.0:60000->60000/tcp, 0.0.0.0:60080->60080/tcp, 0.0.0.0:61888->61888/tcp, 0.0.0.0:2222->22/tcp sandbox
# ssh -p 2222 root@localhost
root@localhost's password:
You are required to change your password immediately (root enforced)
Last login: Sat Dec 10 02:47:19 2016 from 172.17.0.1
Changing password for root.
(current) UNIX password:
New password:
Retype new password:
# /etc/init.d/startup_script start
Starting tutorials... [ Ok ]
Starting startup_script...
Starting HDP ...
Starting mysql [ OK ]
Starting Flume [ OK ]
Starting Postgre SQL [ OK ]
Starting name node [ OK ]
Starting Zookeeper nodes [ OK ]
Starting Oozie [ OK ]
Starting data node [ OK ]
Starting Ranger-admin [WARNINGS]
find: failed to restore initial working directory: Permission denied
Starting Ambari server [ OK ]
Starting Ambari agent [ OK ]
Safe mode is OFF
Starting Ranger-usersync [ OK ]
Starting NFS portmap [ OK ]
Starting Hdfs nfs [ OK ]
Starting Hive server [ OK ]
Starting Hiveserver2 [ OK ]
Starting Yarn history server [ OK ]
Starting Node manager [ OK ]
Starting Spark [ OK ]
Starting Webhcat server [ OK ]
Starting Resource manager [ OK ]
Starting Zeppelin [ OK ]
Starting Mapred history server [ OK ]
Safe mode is OFF
Starting sandbox...
Starting shellinaboxd: [ OK ]
- Sandboxの内にはsandbox.hortonworks.comがハードコードされているのでClient PC (私の場合Mac)のHostsファイルのhostsファイルを設定しておく。
sudo vi /private/etc/hosts
ipaddress sandbox.hortonworks.com
ホストOSのIPアドレスにブラウザからアクセスすると、初期画面が表示
Advanced HDPの下のQuick Linksをクリックし、各サービスにログオン
以上