本書の解説と HDP概略　

本書はHadoopを試しに触ってみたい人向けに記載しました。

最近はクラウド上にHDInsigntなど、Hadoopのマネージドサービスもありますが、お金もかかるし手元で試してみたいと思う人もいると思います。
そういう人向けに、VM上で動くHadoopが提供されています。

HDP Sandboxは、そういったVM上で動くお手軽Hadoop環境の一つです。

HDPは、Hortonworks Data Platformの略でHortonworksが提供している、Hadoopを使うための環境を詰め込んだパックです（ディストリビューション）。
性能や可用性などを除けば、通常、数十台～数百台規模のHadoopシステムで実現することを体験できます。

Apache Hadoopの環境を普通にコンパイルして使用するのは難しいので、簡単に導入・運用できるようにまとめて配布されているという点ではLinuxカーネルと、CentOSなどのディストリビューションと同じと考えてよいと思います。

環境情報

VM環境として、VirtualBox、VMWare、Dockerの三種から選べますが、以下、Dockerの場合について説明します。

必要とされる環境

Hortonworksのインストールガイドによると、メモリは8-10GBとあります。
しかし、最低でもDockerコンテナに8GBを割り当てる必要があるので、物理メモリは16GB以上欲しいところです。

Dockerバージョン 17.09またはそれ以降
メモリ最低8 – 12 GB
シェル環境（マニュアルはGit Bashを使用している）

私の環境

私の環境は以下になります。

ハードウェアスペック

CPU： AMD Ryzen7 2700X
メモリ：32GB
DISK：M.2 SSD 512GB（SSD 760p SSDPEKKW512G8XT）

ソフトウェア

Windows 10 Pro 64bit
Docker CE V18.06.1-ce Channel:stable

準備

Hyper-Vの有効化

WindowsのDockerはHyper-Vの上にLinuxコンテナを起動し、その上でDockerが動作する仕組みになっていますので、まずはHyper-Vを有効にしましょう。

「Windows の機能の有効化または無効化」からHyper-Vを有効にします。

Dockerのインストール＆設定

インストールは、Dockerのページから、インストーラを入手し実行するだけです。

割り当てCPUコア数、メモリ、DISKは増やしたほうがいいので、私は以下のように設定しました。
メモリ不足によるOOMや、CPUパワー不足による内部処理のタイムアウトを避けるためです。
また、DISKはDockerのイメージをダウンロードすることもあり、かなりの容量を消費します。（30GB前後？）

※本来は数台のサーバに分散して実装する環境を無理やり1台に詰め込んでいるので、普通のマシンではどうしてもリソース不足になります。

また、Dockerイメージを格納しているドライブの共有設定も事前に実施しましょう。
私はしておらず、エラーをくらいました。

Git for Windowsのインストール

Sandboxは「Git shell上で動作確認しています」とあるので、不要なトラブルを避けるためGit shellをインストールするためにGit for Windowsを導入します。

「Download」からインストーラをダウンロードして実行するだけです。
色々聞かれましたが、私はデフォルトでインストールしました。

Sandboxの入手

HortonworksのSandboxページから入手します。

「Docker↓」からzipファイルをダウンロードします。
アンケート情報の入力が必要ですが、誠意をもって答えましょう（笑）。

ホスト名の設定

今回は実施しておりませんが、本格的にSandboxを触る場合はコンテナのホスト名設定が必要となります。
以下を参考に設定してください。

Windowsの場合、c:\Windows\System32\drivers\etc\hostsに

hosts設定

{IP-Address} localhost sandbox.hortonworks.com sandbox-hdp.hortonworks.com sandbox-hdf.hortonworks.com

を追加するのが良いようです。

インストール＆起動

zip解凍

「Git Bash」を起動し、ダウンロードしたSandboxのzipファイルを解凍します。
HDP_2.6.5_deploy-scripts_180624d542a25.zip

ファイル解凍

$ unzip HDP_2.6.5_deploy-scripts_180624d542a25.zip
Archive:  HDP_2.6.5_deploy-scripts_180624d542a25.zip
   creating: assets/
  inflating: assets/generate-proxy-deploy-script.sh
  inflating: assets/nginx.conf
  inflating: docker-deploy-hdp265.sh
  inflating: enable-native-cda.sh

Deploy スクリプト実行

設定をちゃんとしておけば、一発で成功すると思います。

スクリプト実行

$ ./docker-deploy-hdp265.sh
+ registry=hortonworks
+ name=sandbox-hdp
+ version=2.6.5
+ proxyName=sandbox-proxy
+ proxyVersion=1.0
+ flavor=hdp
+ echo hdp
+ mkdir -p sandbox/proxy/conf.d
+ mkdir -p sandbox/proxy/conf.stream.d
+ docker pull hortonworks/sandbox-hdp:2.6.5
2.6.5: Pulling from hortonworks/sandbox-hdp
Digest: sha256:0b34fa5cb197717828d6ffe547c23ad9b1c09f3b953e570e37f6f09809fbf3ba
Status: Image is up to date for hortonworks/sandbox-hdp:2.6.5
+ docker pull hortonworks/sandbox-proxy:1.0
1.0: Pulling from hortonworks/sandbox-proxy
Digest: sha256:42e4cfbcbb76af07e5d8f47a183a0d4105e65a1e7ef39fe37ab746e8b2523e9e
Status: Image is up to date for hortonworks/sandbox-proxy:1.0
+ '[' hdp == hdf ']'
+ '[' hdp == hdp ']'
+ hostname=sandbox-hdp.hortonworks.com
++ docker images
++ grep hortonworks/sandbox-hdp
++ awk '{print $2}'
+ version=2.6.5
+ docker network create cda
+ docker run --privileged --name sandbox-hdp -h sandbox-hdp.hortonworks.com --network=cda --network-alias=sandbox-hdp.hortonworks.com -d hortonworks/sandbox-hdp:2.6.5
C:\Program Files\Docker\Docker\Resources\bin\docker.exe: Error response from daemon: Conflict. The container name "/sandbox-hdp" is already in use by container "3e9ed3a59f43c56e7c19378be82ae9ed45799806c5ab64eb99e2070f82e69e74". You have to remove (or rename) that container to be able to reuse that name.
See 'C:\Program Files\Docker\Docker\Resources\bin\docker.exe run --help'.
+ echo ' Remove existing postgres run files. Please wait'
 Remove existing postgres run files. Please wait
+ sleep 2
+ docker exec -t sandbox-hdp sh -c 'rm -rf /var/run/postgresql/*; systemctl restart postgresql;'
+ sed s/sandbox-hdp-security/sandbox-hdp/g assets/generate-proxy-deploy-script.sh
+ mv -f assets/generate-proxy-deploy-script.sh.new assets/generate-proxy-deploy-script.sh
+ chmod +x assets/generate-proxy-deploy-script.sh
+ assets/generate-proxy-deploy-script.sh
+ uname
+ grep MINGW
MINGW64_NT-10.0
+ sed -i -e 's/\( \/[a-z]\)/\U\1:/g' sandbox/proxy/proxy-deploy.sh
+ chmod +x sandbox/proxy/proxy-deploy.sh
+ sandbox/proxy/proxy-deploy.sh
7781c8f3b4ba28dcdf58332ca55a880a6355a568963c451eaa4d8a35347e1b21

本来はこのあと、自動的にコンテナが起動すると思うのですが、私の場合トラブルで何度かやり直した成果、起動しませんでした。
なので、Hadoopのコンテナを以下のコマンドで手動で起動しました。

Hadoopコンテナ起動手順

$ docker start sandbox-hdp
$ docker start sandbox-proxy
$ docker ps -a
CONTAINER ID        IMAGE                           COMMAND                  CREATED             STATUS              PORTS                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        NAMES
7781c8f3b4ba        hortonworks/sandbox-proxy:1.0   "nginx -g 'daemon of…"   11 minutes ago      Up About a minute   0.0.0.0:1080->1080/tcp, 0.0.0.0:1100->1100/tcp, 0.0.0.0:1111->1111/tcp, 0.0.0.0:1988->1988/tcp, 0.0.0.0:2100->2100/tcp, 0.0.0.0:2181-2182->2181-2182/tcp, 0.0.0.0:2201-2202->2201-2202/tcp, 0.0.0.0:2222->2222/tcp, 0.0.0.0:3000->3000/tcp, 0.0.0.0:4040->4040/tcp, 0.0.0.0:4200->4200/tcp, 0.0.0.0:4242->4242/tcp, 0.0.0.0:4557->4557/tcp, 0.0.0.0:5007->5007/tcp, 0.0.0.0:5011->5011/tcp, 0.0.0.0:6001->6001/tcp, 0.0.0.0:6003->6003/tcp, 0.0.0.0:6008->6008/tcp, 0.0.0.0:6080->6080/tcp, 0.0.0.0:6188->6188/tcp, 0.0.0.0:6627->6627/tcp, 0.0.0.0:6667->6667/tcp, 0.0.0.0:7777->7777/tcp, 0.0.0.0:7788->7788/tcp, 0.0.0.0:8000->8000/tcp, 0.0.0.0:8005->8005/tcp, 0.0.0.0:8020->8020/tcp, 0.0.0.0:8032->8032/tcp, 0.0.0.0:8040->8040/tcp, 0.0.0.0:8042->8042/tcp, 0.0.0.0:8080-8082->8080-8082/tcp, 0.0.0.0:8086->8086/tcp, 0.0.0.0:8088->8088/tcp, 0.0.0.0:8090-8091->8090-8091/tcp, 0.0.0.0:8188->8188/tcp, 0.0.0.0:8443->8443/tcp, 0.0.0.0:8744->8744/tcp, 0.0.0.0:8765->8765/tcp, 0.0.0.0:8886->8886/tcp, 0.0.0.0:8888-8889->8888-8889/tcp, 0.0.0.0:8983->8983/tcp, 0.0.0.0:8993->8993/tcp, 0.0.0.0:9000->9000/tcp, 0.0.0.0:9088-9091->9088-9091/tcp, 0.0.0.0:9995-9996->9995-9996/tcp, 0.0.0.0:10000-10001->10000-10001/tcp, 0.0.0.0:10015-10016->10015-10016/tcp, 0.0.0.0:10500->10500/tcp, 0.0.0.0:10502->10502/tcp, 0.0.0.0:11000->11000/tcp, 0.0.0.0:12049->12049/tcp, 0.0.0.0:12200->12200/tcp, 0.0.0.0:15000->15000/tcp, 0.0.0.0:15002->15002/tcp, 0.0.0.0:15500->15500/tcp, 0.0.0.0:16000->16000/tcp, 0.0.0.0:16010->16010/tcp, 0.0.0.0:16020->16020/tcp, 0.0.0.0:16030->16030/tcp, 0.0.0.0:18080-18081->18080-18081/tcp, 0.0.0.0:19888->19888/tcp, 0.0.0.0:21000->21000/tcp, 0.0.0.0:33553->33553/tcp, 0.0.0.0:39419->39419/tcp, 0.0.0.0:42111->42111/tcp, 0.0.0.0:50070->50070/tcp, 0.0.0.0:50075->50075/tcp, 0.0.0.0:50079->50079/tcp, 0.0.0.0:50095->50095/tcp, 0.0.0.0:50111->50111/tcp, 0.0.0.0:60000->60000/tcp, 0.0.0.0:60080->60080/tcp, 0.0.0.0:61080->61080/tcp, 80/tcp, 0.0.0.0:61888->61888/tcp   sandbox-proxy
3e9ed3a59f43        hortonworks/sandbox-hdp:2.6.5   "/usr/sbin/init"         32 minutes ago      Up 2 minutes        22/tcp, 4200/tcp, 8080/tcp                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   sandbox-hdp

管理ツール Ambariにアクセスする前に！

Ambariのパスワード初期化をします。
そのためには、AmbariShellといわれる、Webベースのコンソールにログインします。

ブラウザから「 http://localhost:4200 」にアクセスします。
ユーザ：root
パスワード:hadoop
でログインします。※初回はパスワード変更を強制させられます。

AmbariShell初回ログイン

sandbox-hdp login: root                                                                                                                                           
root@sandbox-hdp.hortonworks.com's password:                                                                                                                      
You are required to change your password immediately (root enforced)                                                                                              
Last login: Mon Jun 18 15:28:54 2018 from 172.17.0.2                                                                                                              
Changing password for root.                                                                                                                                       
(current) UNIX password:                                                                                                                                          
New password:                                                                                                                                                     
Retype new password:                                                                                                                                              
[root@sandbox-hdp ~]#

続いてAmbariServerのパスワードリセットを行います。

Ambariパスワード初期化

[root@sandbox-hdp ~]# ambari-admin-password-reset                                                                                                                 
Please set the password for admin:                                                                                                                                
Please retype the password for admin:                                                                                                                             
Passwords do not match.  Please try again.                                                                                                                        

Please set the password for admin:                                                                                                                                
Please retype the password for admin:                                                                                                                             

The admin password has been set.                                                                                                                                  
Restarting ambari-server to make the password change effective...                                                                                                 

Using python  /usr/bin/python                                                                                                                                     
Restarting ambari-server                                                                                                                                          
Waiting for server stop...                                                                                                                                        
Ambari Server stopped                                                                                                                                             
Ambari Server running with administrator privileges.                                                                                                              
Organizing resource files at /var/lib/ambari-server/resources...                                                                                                  
Ambari database consistency check started...                                                                                                                      
Server PID at: /var/run/ambari-server/ambari-server.pid                                                                                                           
Server out at: /var/log/ambari-server/ambari-server.out                                                                                                           
Server log at: /var/log/ambari-server/ambari-server.log                                                                                                           
Waiting for server start.......................                                                                                                                   
Server started listening on 8080                                                                                                                                  

DB configs consistency check: no errors and warnings were found.                                                                                                  
[root@sandbox-hdp ~]#

管理ツール Ambairへログイン

さて、ようやくAmbariにアクセスできます。
ブラウザから
http://localhost:8080
にアクセスします。先ほどリセットしたパスワードでログインできれば成功です！

左側にグリーンのチェックアイコンとともにリストアップされているサービスが使用できるサービスです。

ToolBoxっぽいアイコンのサービスは停止しているため使用できません。

あとは、各種マニュアルを見つつ、フォワーディングされているポートの機能を眺めつつ色々触ってみましょう！

Enjoy your Hadoop Life!!

すこしだけSandboxの構成について解説

「あれ？なんでコンテナが二つ立ち上がっているの？」「しかも一つはsandbox-proxy？？？」と思われた方、いらっしゃるかもしれません。

Hortonworksは、以下の目的に応じて、二つの製品HDPとHDFのサブスクリプションを提供しています。
- HDF：Data in Motion（リアルタイム向け）
- HDP：Data at Rest（バッチ向け）

その関係から、Sandboxも二つに分かれており、二つの環境にアクセスするのが煩雑なため、ReverseProxyとして、sandbox-proxyを起動して、アクセス先を統合しています。

なお、フォワーディングされいているポートの役割については、以下に記載があります。
さしあたっては、管理ツールのAmbari（8080)と、Ambarishell（4200)を覚えてお行けばどうにかるかなぁ。

遭遇したトラブル

Deploy スクリプト実行時のエラーその１

Deploy実行時に以下のエラーが発生しました。原因は不明ですがホストマシンの再起動で解決しました。