はじめに
Part-1、Part-2では、Cloudera Managerという管理コンソールは使っていませんでした。今回はその管理コンソールを立ち上げてみます。
Part-1はこちら
Part-2はこちら
Part-4はこちら
1. Cloudera Managerの起動
Cloudera Managerは以下で起動できます。--expressオプションを付けない場合はenterprise版になりますが、大容量メモリが必要かつ30日の試用期間(有償プロダクト)となっていますので、軽い方のexpressオプションで起動します。
sudo /home/cloudera/cloudera-manager --express --force
以下、実行結果です。
[cloudera@quickstart ~]$ /home/cloudera/cloudera-manager --express --force
You must run this script as root. Try 'sudo /home/cloudera/cloudera-manager '.
[cloudera@quickstart ~]$ sudo /home/cloudera/cloudera-manager --express --force
[QuickStart] Shutting down CDH services via init scripts...
kafka-server: unrecognized service
JMX enabled by default
Using config: /etc/zookeeper/conf/zoo.cfg
[QuickStart] Disabling CDH services on boot...
error reading information on service kafka-server: No such file or directory
[QuickStart] Starting Cloudera Manager server...
[QuickStart] Waiting for Cloudera Manager API...
[QuickStart] Starting Cloudera Manager agent...
[QuickStart] Configuring deployment...
Submitted jobs: 16
[QuickStart] Deploying client configuration...
Submitted jobs: 17
[QuickStart] Starting Cloudera Management Service...
Submitted jobs: 25
[QuickStart] Enabling Cloudera Manager daemons on boot...
________________________________________________________________________________
Success! You can now log into Cloudera Manager from the QuickStart VM's browser:
http://quickstart.cloudera:7180
Username: cloudera
Password: cloudera
http://自分のIP:7180/にアクセスし、Username: clouderaとPassword: clouderaでログインします。
先ほどまで使用していたHDFS, Hive, HUEは一旦停止状態になっていますし、PCの状態によっては各種問題が表示されますが、今回は本番利用でない為ひとまず放置します。
2 各種サービスを起動
以下のような操作で、HDFS->ZooKeeper->YARN->Hive->Impala->Hue->HBaseの順で起動してみます。
以下のように緑のチェックが付けばOKです。
3 ホストのステータスを確認
今回は1台しかホストがありませんが、Cloudera Managerでは各ホストのCPU、メモリ、ストレージの使用量などを確認できます。
以下のようにメニューを選択し、確認したいホストを選択します。
PCで動作確認する場合、8Gはないと厳しいですね。
チャートライブラリを見るともっと細かい情報が見れます。
4. 終わりに
Cloudera Managerを使うとCDHの全体感が掴めると思います。
こうやってCDHを使ってみると、改めてHadoopエコシステム環境をゼロから作って管理しようとすると結構大変そうなことがわかります。