ClouderaのQuickStartVMを利用するためのまとめ。
常に変化しているので随時キャッチアップ(これは2015年11月15日時点の情報です)。
##参考
- Cloudera Quickstart VM(CDH5)をVirtualBoxで起動してHadoopの環境構築をする
- Hadoopを10分で試す
- 「Cloudera Quick Start VM」を活用したビッグデータ分析の学習環境構築
##準備
###ダウンロード
ダウンロードボタンのCSSがずれててうまく押せない。。。ボタンの下の方を押せば大丈夫みたいです。
私はVMWare版をダウンロードしました。
###解凍
サイトにも書いていますが、解凍は7zipを使ったほうがよいみたい。
私はMacなので、brewでインストール。
brew install p7zip
7z e
解凍が完了すると、いくつかのファイルができますが、その中の、cloudera-quickstart-vm-5.4.2-0-vmware.vmxをVMWareから開きます。
###VMの起動
起動前に、可能な限りのメモリとCPUを割り振ります。
マシン環境に依存すると思いますが、起動にはしばらく時間がかかります。ログインは自動的に行われるようです。
###キーボードレイアウトの変更
私はJIS配列のキーボードを使用していますが、VMの設定はUSになっているようなので変更します。
GUIからSystem->Preferences->Keyboard->Layouts->Add...->Country->Japan->Add
という流れで設定し、Layoutの画面でJapaneseをDefaultに設定し、再起動すればよいでしょう。
こちらのサイトが大変参考になります。
###日本語化
日本語サポートをインストールします。
sudo yum install japanese-support
一度ログアウトするか再起動します。
###ブラウザを日本語化する
MacだとOptionを押せば、メニューが表示されますので、Edit->Preference->Content->Languages->Chooseを選び日本語を追加します。
###JSTにする
標準ではUSTになっているようです。日本時間に変更しましょう。
sudo cp /usr/share/zoneinfo/Japan /etc/localtime
sudo vi /etc/sysconfi/clock
で、ZONE="Asia/Tokyo"
に変更。
##利用
###Cloudera Expressを起動
デスクトップ上にある「Launch Cloudera Express」をダブルクリックします。すると、「最低でも8GBのRAMをおすすめします・・・」というメッセージが8GB以上のRAMを割り当てても出ます(苦笑)。
このチェックを無視して実行するためには、下記のコマンドを実行します。
expressを利用するには--express optionを付与するとよいようです。
sudo /home/cloudera/cloudera-manager --force --express
コンソールを開けば/home/clouderaなので、
sudo ./cloudera-manager --force --express
とすればいいです。
http://quickstart.cloudera:7180 にアクセスしろと出るのでアクセスします。ID,PWはそれぞれclouderaです。
なお、このコマンドは再起動を行った際は毎回必要なようです。
###各サービスのステータスが?になっている
サービスが起動できていないのか、ステータスがうまく取得できていないのか?(たぶん後者)、ステータスがグリーンになっていない場合がありますが、しばらく待てばオールグリーンになるようです。
ならない場合は、Cloudera Management Serviceを再起動してみます。
それでだめなら各サービスを再起動してみます。
###Hueでサンプルのクエリを実行する
Hueのクイックスタートの「手順2」で必要なアプリケーションサンプルをインストールします(しておきます)。
すると、「家マーク(マイドキュメント)」で、サンプルリストを見ることができます。
必要なSampleをクリックし、クエリを実行してみましょう。