Edited at

Cloudera QuickStart VMs(CDH)でHadoop on Windows - Part-3

More than 1 year has passed since last update.


はじめに

Part-1Part-2では、Cloudera Managerという管理コンソールは使っていませんでした。今回はその管理コンソールを立ち上げてみます。

Part-1はこちら

Part-2はこちら

Part-4はこちら


1. Cloudera Managerの起動

Cloudera Managerは以下で起動できます。--expressオプションを付けない場合はenterprise版になりますが、大容量メモリが必要かつ30日の試用期間(有償プロダクト)となっていますので、軽い方のexpressオプションで起動します。


sudo /home/cloudera/cloudera-manager --express --force


以下、実行結果です。

[cloudera@quickstart ~]$ /home/cloudera/cloudera-manager --express --force

You must run this script as root. Try 'sudo /home/cloudera/cloudera-manager '.
[cloudera@quickstart ~]$ sudo /home/cloudera/cloudera-manager --express --force
[QuickStart] Shutting down CDH services via init scripts...
kafka-server: unrecognized service

JMX enabled by default
Using config: /etc/zookeeper/conf/zoo.cfg
[QuickStart] Disabling CDH services on boot...
error reading information on service kafka-server: No such file or directory
[QuickStart] Starting Cloudera Manager server...
[QuickStart] Waiting for Cloudera Manager API...
[QuickStart] Starting Cloudera Manager agent...
[QuickStart] Configuring deployment...
Submitted jobs: 16
[QuickStart] Deploying client configuration...
Submitted jobs: 17
[QuickStart] Starting Cloudera Management Service...
Submitted jobs: 25
[QuickStart] Enabling Cloudera Manager daemons on boot...
________________________________________________________________________________

Success! You can now log into Cloudera Manager from the QuickStart VM's browser:

http://quickstart.cloudera:7180

Username: cloudera
Password: cloudera

http://自分のIP:7180/にアクセスし、Username: clouderaとPassword: clouderaでログインします。

先ほどまで使用していたHDFS, Hive, HUEは一旦停止状態になっていますし、PCの状態によっては各種問題が表示されますが、今回は本番利用でない為ひとまず放置します。

image.png


2 各種サービスを起動

以下のような操作で、HDFS->ZooKeeper->YARN->Hive->Impala->Hue->HBaseの順で起動してみます。

image.png

以下のように緑のチェックが付けばOKです。

image.png


3 ホストのステータスを確認

今回は1台しかホストがありませんが、Cloudera Managerでは各ホストのCPU、メモリ、ストレージの使用量などを確認できます。

以下のようにメニューを選択し、確認したいホストを選択します。

image.png

image.png

PCで動作確認する場合、8Gはないと厳しいですね。

image.png

チャートライブラリを見るともっと細かい情報が見れます。


4. 終わりに

Cloudera Managerを使うとCDHの全体感が掴めると思います。

こうやってCDHを使ってみると、改めてHadoopエコシステム環境をゼロから作って管理しようとすると結構大変そうなことがわかります。

Part-1はこちら

Part-2はこちら

Part-4はこちら