More than 5 years have passed since last update.

Hortonworks Sandbox にNifiをインストール（Windows上のVirtualBox、Microsoft Azure）

Last updated at 2016-09-29Posted at 2016-09-25

VirtualBoxのHortonworks SandboxにNifiをインストール（Windows編）

公式のチュートリアルでつまずいたので2016年9月時点での手順を記録として記載します。

VirtualBoxにHortonworks Sandboxのインストールについては、こちらを参照。

WindowsのVirtualBox上のHortonworks Sandboxを利用する場合は、事前にGit Bashが必要となるため、Git for Windowsのインストールが必要となりますのでインストールしておきましょう。

1.Hortonworks Sandboxにログイン及び初回時のパスワード変更

Gitbashを起動し以下のコマンドを実施します。

$ ssh -p 2222 root@localhost
root@localhost's password:hadoop(初期パスワード)
You are required to change your password immediately (root enforced)
Changing password for root.
(current) UNIX password:hadoop
New password:任意のパスワード
Retype new password:任意のパスワード

上記のパスワード変更は初回のみ

2.Nifiインストールスクリプトのダウンロード

# cd

# curl -o install-nifi.sh https://raw.githubusercontent.com/hortonworks/tutorials/hdp/assets/realtime-event-processing/install-nifi.sh

# chmod +x ./install-nifi.sh

3.Nifiのダウンロード

チュートリアルにこの手順はないのですが、この手順を行わないとうまくいかなかったので追加しました。

# mkdir Downloads

# cd Downloads

# wget http://public-repo-1.hortonworks.com/HDF/2.0.0.0/HDF-2.0.0.0-579.tar.gz

4.Nifiのインストール

チュートリアルだとポートが2222となっていましたが、うまくいかなかったので22としました。

# cd ../

# ./install-nifi.sh ~/Downloads/HDF-2.0.0.0-579.tar.gz localhost 22 2.0.0.0

HOST: localhost
PORT: 22
HDF_FILE: /root/Downloads/HDF-2.0.0.0-579.tar.gz
Version: 2.0.0.0
HDF-Version: HDF-2.0.0.0
HDF-Filename: HDF-2.0.0.0-579.tar.gz
PLEASE ENTER THE PASSWORD TO MOVE HDF TO SANDBOX
The authenticity of host 'localhost (127.0.0.1)' can't be established.
RSA key fingerprint is 8c:ce:66:a4:6b:7a:e5:6c:39:19:d3:2b:f7:03:fb:fb.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'localhost' (RSA) to the list of known hosts.
HDF-2.0.0.0-579.tar.gz                        100%  813MB 116.2MB/s   00:07
PLEASE ENTER THE PASSWORD TO INSTALL HDF TO SANDBOX
Pseudo-terminal will not be allocated because stdin is not a terminal.
Installing NiFi....
Extracting Archive
Updating Run Configs
NiFi is now installed on Sandbox at /root/hdf/HDF-2.0.0.0/nifi
Run NiFi on the sandbox with the command "/root/hdf/HDF-2.0.0.0/nifi/bin/nifi.sh start"

5.Javaの最新化

2016年9月時点、Hortonworks SandboxのJavaバージョンは1.7系で、Nifiは1.8系にしておかないとエラーで起動できないため最新化します。

# yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel

# java -version
openjdk version "1.8.0_101"
OpenJDK Runtime Environment (build 1.8.0_101-b13)
OpenJDK 64-Bit Server VM (build 25.101-b13, mixed mode)

6.NifiのWebUIポート変更

# cd /root/hdf/HDF-2.0.0.0/nifi/conf

# vi nifi.properties

/nifi.web.http.port

nifi.web.http.port=6343
↓変更
nifi.web.http.port=9090

:wq

7.Nifiの起動

# /root/hdf/HDF-2.0.0.0/nifi/bin/nifi.sh start

Java home: /usr/lib/jvm/java
NiFi home: /root/hdf/HDF-2.0.0.0/nifi

Bootstrap Config File: /root/hdf/HDF-2.0.0.0/nifi/conf/bootstrap.conf

2016-09-25 14:47:01,861 INFO [main] org.apache.nifi.bootstrap.Command Starting Apache NiFi...
2016-09-25 14:47:01,862 INFO [main] org.apache.nifi.bootstrap.Command Working Directory: /root/hdf/HDF-2.0.0.0/nifi
2016-09-25 14:47:01,862 INFO [main] org.apache.nifi.bootstrap.Command Command: /usr/lib/jvm/java/bin/java -classpath /root/hdf/HDF-2.0.0.0/nifi/./conf:/root/hdf/HDF-2.0.0.0/nifi/./lib/commons-lang3-3.4.jar:/root/hdf/HDF-2.0.0.0/nifi/./lib/bcprov-jdk15on-1.54.jar:/root/hdf/HDF-2.0.0.0/nifi/./lib/log4j-over-slf4j-1.7.12.jar:/root/hdf/HDF-2.0.0.0/nifi/./lib/nifi-properties-loader-1.0.0.2.0.0.0-579.jar:/root/hdf/HDF-2.0.0.0/nifi/./lib/jul-to-slf4j-1.7.12.jar:/root/hdf/HDF-2.0.0.0/nifi/./lib/slf4j-api-1.7.12.jar:/root/hdf/HDF-2.0.0.0/nifi/./lib/nifi-nar-utils-1.0.0.2.0.0.0-579.jar:/root/hdf/HDF-2.0.0.0/nifi/./lib/nifi-api-1.0.0.2.0.0.0-579.jar:/root/hdf/HDF-2.0.0.0/nifi/./lib/nifi-properties-1.0.0.2.0.0.0-579.jar:/root/hdf/HDF-2.0.0.0/nifi/./lib/jcl-over-slf4j-1.7.12.jar:/root/hdf/HDF-2.0.0.0/nifi/./lib/nifi-runtime-1.0.0.2.0.0.0-579.jar:/root/hdf/HDF-2.0.0.0/nifi/./lib/nifi-framework-api-1.0.0.2.0.0.0-579.jar:/root/hdf/HDF-2.0.0.0/nifi/./lib/logback-core-1.1.3.jar:/root/hdf/HDF-2.0.0.0/nifi/./lib/logback-classic-1.1.3.jar:/root/hdf/HDF-2.0.0.0/nifi/./lib/nifi-documentation-1.0.0.2.0.0.0-579.jar -Dorg.apache.jasper.compiler.disablejsr199=true -Xmx512m -Xms512m -Dsun.net.http.allowRestrictedHeaders=true -Djava.net.preferIPv4Stack=true -Djava.awt.headless=true -XX:+UseG1GC -Djava.protocol.handler.pkgs=sun.net.www.protocol -Dnifi.properties.file.path=/root/hdf/HDF-2.0.0.0/nifi/./conf/nifi.properties -Dnifi.bootstrap.listen.port=45173 -Dapp=NiFi -Dorg.apache.nifi.bootstrap.config.log.dir=/root/hdf/HDF-2.0.0.0/nifi/logs org.apache.nifi.NiFi

8.NifiのWebUIにアクセス

ブラウザを起動して、以下URLにアクセス
※Nifi起動には1,2分かかるようなので2分後にアクセスしてください。

サポートブラウザ

Mozilla Firefox latest
Google Chrome latest
MS Edge
Safari 8

Microsoft AzureのHortonworks SandboxにNifiをインストール

公式のチュートリアルでつまずいたので2016年9月時点での手順を記録として記載します。

Microsoft AzureへのHortonworks Sandbox環境構築については、公式のチュートリアルを参照。

1.Microsoft AzureのHortonworks Sandboxにログイン

Teraterm（Windowsの場合）、ターミナル（Macの場合）を起動し、Microsoft Azure上のHortonworks Sandboxサーバにログインします。

Hortonworks Sandboxのデフォルトでは以下の構成となっていますが、Microsoft Azureではrootでのログインは無効となっておりますので、Hortonworks Sandboxを作成するときにMicrosoft Azure上で設定したusernameとpasswordでログインしてください。

デフォルト
ホスト：Microsoft AzureのパブリックIPアドレス
アカウント：root
パスワード：hadoop
↓
ホスト：Microsoft AzureのパブリックIPアドレス
アカウント：Hortonworks Sandboxを作成するときにMicrosoft Azure上で設定したusername
パスワード：Hortonworks Sandboxを作成するときにMicrosoft Azure上で設定したpassword