AmbariによるStormクラスタのプロビジョニング

この記事は Hortonworks Advent Calendar 2016 の12/12（月）のエントリーとして投稿しています。

HDP（Hortonworks Data Platform）のコンポーネントの一部である Apache Ambari を利用して、AWSのEC2上で Apache Storm のクラスタをプロビジョニングすることをやってみます。
今回は、Storm を対象にしていますが、Hadoop／Spark／Kafkaなども同様の手順で実施できます。

概要

まずはじめに、今回利用するコンポーネントの簡単な説明。どちらもHDPに含まれるOSSです。

名称	ロゴ	説明
Ambari		HDPにおけるクラスタマネージャ。HadoopだけでなくHDPで扱うコンポーネントに関して、クラスタの作成、設定の管理、モニタリング等の総合的な管理が行える。
Storm		スケーラブルで高速な分散ストリームデータ処理エンジン。Twitter社からOSSとして公開された、分散ストリームデータ処理エンジンの先駆け的存在。

Ambariを利用することで、Stormを手動でインストールや設定する必要がなくなり、半自動でクラスタの構築や設定の管理を行えるようになります。

構成

今回は、EC2上に構築しており、以下のような内容としています。

前提条件

本記事の前提として、以下のことを想定しています。

• AWSのアカウントを持っており、VPCやEC2に関する基本的な知識を有していること。
• Ambari2.4.2を利用する（2016/12/12時点の最新）。
• 本記事の操作環境は、macOS Sierra(10.12)を利用している。

AWSの事前準備

VPCの作成

最初にクラスタを所属させるVPCを作成します。
AWSのコンソールから「VPC」の画面へ行き、「VPC ウィザードの開始」ボタンを押下してください。
ウィザードが開始されたら、「パブリックとプライベート サブネットを持つ VPC」を選択して、必要な内容を登録します。ここでのアドレスブロックは「10.0.0.0/16」としています。

セキュリティグループの作成

セキュリティグループとしては、以下のような内容を指定したものを作成します。

• インバウンド

タイプ	プロトコル	ポート範囲	送信元
SSH	TCP	22	MyIP
HTTP	TCP	80	MyIP
カスタムTCPルール	TCP	8080	MyIP
すべてのTCP	TCP	0-65535	同一のセキュリティグループ内
すべてのUDP	UDP	0-65535	同一のセキュリティグループ内

• アウトバウンド

タイプ	プロトコル	ポート範囲	送信元
すべてのトラフィック	すべて	すべて	0.0.0.0/0

Ambariサーバのインストール

Ambariサーバ用のインスタンス作成

ここでは、Amazon Linux AMI を利用してインスタンスを作成します。

ネットワークを指定しますが、予め用意しておいたVPCを利用してください。
また、Ambariサーバは、パブリックなサブネットに配置します。

ストレージのサイズは、30GBとしていますが、実際の運用では適宜サイズを指定してください。

分かりやすいように「ambari-server」とタグを付けておきます。

予め用意しておいたセキュリティグループを指定します。

キーペアは、既に作成しているものを選択します。新しく作成しても構いません。
サーバへのログインに必要になるため、大切に保管してください。

これで、Ambariサーバ用のインスタンスが作成できました。

ログイン確認・初期設定

作成したインスタンスにSSHログインします。

local$ ssh -i ./hdp-key.pem ec2-user@35.162.201.125

ログインに成功したら、サービスの設定を変更します。

$ sudo chkconfig iptables off
$ sudo chkconfig ip6tables off
$ sudo chkconfig ntpd on
$ sudo service ntpd start

ここで、このインスタンスをベースとしたイメージを作成しておきます。
これは、後でHDPのノードとして利用します。

また、HDPのノードから、パスワードなしでログインできるようにしておくため、SCPで秘密鍵をアップロードします。アップロードしたファイルは、「id_rsa」というファイル名に変更して、「.ssh」ディレクトリの配下に配置します。

local$ scp -i ./hdp-key.pem ./hdp-key.pem ec2-user@35.162.201.125:~/.
local$ ssh -i ./hdp-key.pem ec2-user@35.162.201.125

$ mv ./hdp-key.pem ~/.ssh/id_rsa

Ambariサーバのインストール

やっとAmabariサーバのインストールを開始するところまで来ました。
ここからは、Ambariサーバのインタンスにログインしての操作になります。

まず最初に、Ambariをインストールするために、HDPとして公開されているリポジトリの定義を追加します。

• HDP 2.4 Repositories

$ sudo wget -nv http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.4.1.0/ambari.repo -O /etc/yum.repos.d/ambari.repo

$ sudo yum install ambari-server

読み込んだプラグイン:priorities, update-motd, upgrade-helper
Updates-ambari-2.4.1.0                              | 2.9 kB     00:00
Updates-ambari-2.4.1.0/primary_db                   | 8.3 kB     00:00
amzn-main/latest                                    | 2.1 kB     00:00
amzn-updates/latest                                 | 2.3 kB     00:00
依存性の解決をしています
・・・
総ダウンロード容量: 663 M
インストール容量: 754 M

Is this ok [y/d/N]: y

Downloading packages:
・・・
http://public-repo-1.hortonworks.com/ambari/centos7/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins から鍵を取得中です。
Importing GPG key 0x07513CAD:
 Userid     : "Jenkins (HDP Builds) <[e-mail]>"
 Fingerprint: df52 ed4f 7a3a 5882 c099 4c66 b973 3a7a 0751 3cad
 From       : http://public-repo-1.hortonworks.com/ambari/centos7/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

上記の処理を行います。よろしいでしょうか？ [y/N]y

Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
・・・
完了しました!

$ sudo ambari-server setup

Using python  /usr/bin/python
Setup ambari-server
Checking SELinux...
SELinux status is 'disabled'
Customize user account for ambari-server daemon [y/n] (n)?  y
input not recognized, please try again: 
Customize user account for ambari-server daemon [y/n] (n)? y
Enter user account for ambari-server daemon (root):
Adjusting ambari-server permissions and ownership...
Checking firewall status...
Checking JDK...
[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[2] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7
[3] Custom JDK
==============================================================================
Enter choice (1): 1

・・・
Successfully downloaded JCE Policy archive to /var/lib/ambari-server/resources/jce_policy-8.zip
Installing JCE policy...
Completing setup...
Configuring database...

Enter advanced database configuration [y/n] (n)? y
Configuring database...
==============================================================================
Choose one of the following options:
[1] - PostgreSQL (Embedded)
[2] - Oracle
[3] - MySQL / MariaDB
[4] - PostgreSQL
[5] - Microsoft SQL Server (Tech Preview)
[6] - SQL Anywhere
[7] - BDB
==============================================================================
Enter choice (1): 1
Database name (ambari): ambari
Postgres schema (ambari): ambari
Username (ambari): ambari
Enter Database Password (bigdata): 
Re-enter password: 

・・・
Adjusting ambari-server permissions and ownership...
Ambari Server 'setup' completed successfully.

$ sudo ambari-server start

Ambariにログインできることを確認します。
http://<ambari-serverのホスト>:8080にアクセスしてログイン画面が確認できればOKです。

デフォルトのログイン情報は以下になります。

パラメータ	値
Username	admin
Password	admin

Stormのプロビジョニング

Storm用のインスタンス作成

先程保存したAMIのイメージから、Stormクラスタ用のインスタンスを作成します。

ここでは「t2.medium」を選択していますが、Stormを動作させるので、適宜大きいサイズのインスタンスを指定してください。

ホストは、全部で5つ作成します。ホストの内容は、最初の構成図の通りです。
また、このホスト群は、プライベートなサブネットに配置します。

これで、Stormクラスタ用のインスタンスが作成できました。
ここで作成されたホストの「プライベートDNS」をメモしておいてください。後ほど利用します。

Stormのデプロイ

Ambariにログインして、Storm用のクラスタを作成します。

最新版を選択します。

「Target Hosts」では、Ambariからデプロイを行うHDPのノードを指定します。ここでは、先程メモしたEC2インスタンスのプライベートDNS（AWSのコンソールから確認できる）の値を、ホストの台数分指定してください。
「Host Registration Information」では、ホストにアクセスする際の秘密鍵を登録してください。また、ユーザアカウントは、デフォルトでは、"root"となっていますが、"ec2-user"に変更してください。

これで内容を確認したら、各ホストに対して、Ambariのエージェントがインストールされます。

Ambariのエージェントのインストールが無事に完了したら、次に、クラスタとして必要なOSSを選択します。
ここでは、「Zookeeper」「Storm」、および、Amabriよるモニタリングを確認する「Ambari Metrics」を選択してください。

次に、どのホストに対して、何のプロセスをインストールするかを決定します。
ここでは、Zookeeper用に3台必要なのに加えて、マスターノードである Nimbusや モニタリング用の Storm UI Server なども適宜配置していきます。何をどこに配置するか、ビジュアルに確認できるので分かりやすいですね。

次にスレーブとなるSupervisorの設定を行います。ここでは、5台のホストの内、Zookeeperを配置しない残りの2台を指定します。

設定の内容ですが、まずはデフォルトでOKです。

最後、内容を確認したら、デプロイを開始します。

動作確認

インストールが完了したら、Ambariの画面で、各サービスやホストの情報が確認できます。
以下のような画面が表示されればOKです。

Storm Topologyの実行

以下より、Stormの媒体をダウンロードします。

• http://storm.apache.org/downloads.html

2016/12/12現在での最新版は、1.0.2ですが、AmbariによってインストールされるStormのバージョンが1.0.1のため、一応、1.0.1の媒体をダウンロードします。

• apache-storm-1.0.1.zip

ファイルを展開して、以下にサンプルを同梱したjarがあることを確認します。

examples/storm-starter/storm-starter-topologies-1.0.1.jar

今回は、Nimbusが動作するホストで、Topologyのデプロイを行いますが、プライベートのサブネットにあるため、以下のような流れでファイルをアップロードします。

local -> ambari-server -> nimbus-server

local$ scp -i ./hdp-key.pem ./storm-starter-topologies-*.jar ec2-user@35.162.201.125:~/.
local$ ssh -i ./hdp-key.pem ec2-user@35.162.201.125

[ec2-user@ip-10-0-0-135 ~]$ ls
storm-starter-topologies-1.0.1.jar
[ec2-user@ip-10-0-0-135 ~]$ scp ./storm-starter-topologies-*.jar ec2-user@10.0.1.59:~/.
[ec2-user@ip-10-0-0-135 ~]$ ssh ec2-user@10.0.1.59

[ec2-user@ip-10-0-1-59 ~]$ ls
storm-starter-topologies-1.0.1.jar
[ec2-user@ip-10-0-1-59 ~]$ storm jar ./storm-starter-topologies-*.jar org.apache.storm.starter.SlidingWindowTopology slidingwindow
・・・
1701 [main] INFO  o.a.s.StormSubmitter - Finished submitting topology: slidingwindow

これで、サンプルのTopologyはアップできたので、StormUIで動作を確認します。
StormUIも、プライベートのサブネットにあるため、ローカルからはポートフォワーディングでアクセスします。

local$ ssh -N -L 18744:10.0.1.59:8744 -i ./hdp-key.pem ec2-user@35.162.201.125

これで、ブラウザから以下のURLにアクセスすることで、StormUIの画面が確認できます。

http://127.0.0.1:18744

以下のような画面が開き、slidingwindow というTopologyが表示されていればOKです。

まとめ

ネットワークの構成が多少複雑なため、手順としては多いですが、Ambari自体のインストール、そして、Ambariを利用したStormのプロビジョニングはとても簡単に実施できます。
Ambariの良いところは、プラットフォームごとにインストールするのではなく、関連するプラットフォームをまとめてプロビジョニング、モニタリングできるところにあると思います。
HDPを利用することで、簡単にビッグデータのプラットフォームを構築できますね。