HBase, Sparkを試す環境を手軽に作れないか調べてたら、Hortonworks Data Platformというものを見つけた。
Windowsにも対応しているということだったので、さくっとインストールしてみようと思ったのだが、以外にハマりまくったのでメモ。
必要ソフトのインストール
phthon2.7.9
1 C:\Python27 にインストール
2 システム環境変数PATHに ";C:\Python27" を追加
3 コマンドプロンプトで動作確認
> python -V
Python 2.7.9
Microsoft Visual C++ 2010 Redistributable Package (64-bit)
デフォルト設定でインストール
Microsoft .NET Framework 4.0
デフォルト設定でインストール
Oracle Java JDK 1.7.0_79
マニュアルでは1.7.0._51となっているが、最新版でインストールしてみた。
1 "C:\Java\jdk1.7.0_79\" にインストール
2 システム環境変数にJAVA_HOMEを追加する
C:\Java\jdk1.7.0_79 を設定
3 コマンドプロンプトで環境変数を確認
> echo %JAVA_HOME%
C:\Java\jdk1.7.0_79
4 システム環境変数PATHに ";c:\Java\jdk1.7.0_79\bin"を追加する
5 コマンドプロンプトで動作確認
> java -version
java version "1.7.0_79"
Java(TM) SE Runtime Environment (build 1.7.0_79-b15)
Java HotSpot(TM) 64-Bit Server VM (build 24.79-b02, mixed mode)
HDP2.2.0.0をインストール
1 Hortonworksのダウンロードページを開く。
2 「Download the MSI」をクリックするとhdp-2.2-latest-GA.zipがダウンロードされる。
3 hdp-2.2-latest-GA.zipを解凍する。
4 管理者権限でコマンドプロンプトを開く。
msiexec /i "hdp-2.2.0.0.winpkg.msi"
5 Hadoopのパスワード、Hive、Ooziの設定を入力してInstallボタンをクリックする。
* Hadoopのパスワードを設定
* 「Configure Single Node」を選択
[Master Componetsタブ]
* Hive, Oozieの設定は使用しなくても設定が必要
* "DB Flavor"をMSSQLからDerbyに変更
[Additional componetsタブ]
* Knox master secret を設定(パスワード)
* "Install Ranger"のチェックをはずす
Ranger関連がよくわからなかったので、今回は外してインストールを実行。
試行錯誤したポイント
MSSQLにアクセス出来ない
インストーラのデフォルトで"DB Flavor"にMSSQLが選択されている。
インストール中にMSSQLにアクセスできなくてインストールエラーとなるので、これをDerbyに変更。
(デフォルトで選ばれているのに、Required softwareに含まれていなくて不親切)
管理者権限
msiexecを実行するコマンドプロンプトを管理者権限で起動する必要がある。
管理者権限で起動しないと、インストールでエラーが発生。
動作確認
> cd C:\hdp
> start_local_hdp_services.cmd