Cloudera Enterprise 5.8 がリリースされたので、Cloudera Quickstart VMのCloudera ManagerとCDHをアップグレードしてみました。
環境
- Cloudera Quickstart VM 5.7の仮想マシン
(http://www.cloudera.com/downloads/quickstart_vms/5-7.html) - VMWare Player/Fusionの動いている環境
Cloudera Manager/CDHをアップグレード
アップグレード手順はドキュメントに記載されています。今回のアップグレードはほとんどウィザードを使って更新できましたが、ドキュメンドは一読しておきましょう。
http://www.cloudera.com/documentation/enterprise/latest/topics/installation_upgrade.html#xd_583c10bfdbd326ba-7dae4aa6-147c30d0933--7f28
Cloudera Managerを最新バージョンに更新
現在の環境は Cloudera Manager 5.7.0 の環境で、CDH 5.7.0 と StreamSets 1.5.0 が導入されています。
下記の手順に従いアップグレードします。
http://www.cloudera.com/documentation/enterprise/latest/topics/cm_ag_upgrade_cm5.html
-
サービスの停止
Cloudera Manager のWeb UIから実行中のサービス (HDFS, YARNなど）を停止します。左上のメニューから停止を選ぶだけです。続いて Cloudera Management Serviceも停止しましょう。
-
Cloudera Managerのデーモンの停止
コマンドラインからCloudera Manager関連のデーモンを停止します。Quickstart VMでは組み込みDBは使用していないので、cloudera-scm-server-dbを更新する必要はありません。
[cloudera@quickstart ~]$ sudo service cloudera-scm-server stop
Stopping cloudera-scm-server: [ OK ]
[cloudera@quickstart ~]$ sudo service cloudera-scm-server-db stop
cloudera-scm-server-db: unrecognized service
[cloudera@quickstart ~]$
- Cloudera Manager パッケージのアップグレード
続いてyumコマンドでパッケージをアップグレードします。yumのレポジトリを変更する必要ありません。
[cloudera@quickstart ~]$ cat /etc/yum.repos.d/cloudera-manager.repo
[cloudera-manager]
name=Cloudera Manager, Version 5
baseurl=http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5/
gpgkey=http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera
gpgcheck = 1
[cloudera@quickstart ~]$ sudo yum clean all
Loaded plugins: fastestmirror, security
Cleaning repos: base cloudera-cdh5 cloudera-gplextras5 cloudera-kafka
: cloudera-manager epel extras updates vmware-tools
Cleaning up Everything
Cleaning up list of fastest mirrors
[cloudera@quickstart ~]$ sudo yum upgrade cloudera-manager-server cloudera-manager-daemons cloudera-manager-agent
Loaded plugins: fastestmirror, security
Setting up Upgrade Process
Determining fastest mirrors
epel/metalink | 4.6 kB 00:00
* base: ftp.tsukuba.wide.ad.jp
* epel: ftp.riken.jp
* extras: ftp.tsukuba.wide.ad.jp
* updates: ftp.tsukuba.wide.ad.jp
base | 3.7 kB 00:00
base/primary_db | 4.7 MB 00:00
cloudera-cdh5 | 951 B 00:00
cloudera-cdh5/primary | 44 kB 00:00
cloudera-cdh5 146/146
cloudera-gplextras5 | 951 B 00:00
cloudera-gplextras5/primary | 2.4 kB 00:00
cloudera-gplextras5 9/9
cloudera-kafka | 951 B 00:00
cloudera-kafka/primary | 1.7 kB 00:00
cloudera-kafka 3/3
cloudera-manager | 951 B 00:00
cloudera-manager/primary | 4.3 kB 00:00
cloudera-manager 7/7
epel | 4.3 kB 00:00
epel/primary_db | 5.8 MB 00:01
extras | 3.4 kB 00:00
extras/primary_db | 37 kB 00:00
updates | 3.4 kB 00:00
updates/primary_db | 1.4 MB 00:00
vmware-tools | 951 B 00:00
vmware-tools/primary | 18 kB 00:00
vmware-tools 42/42
Resolving Dependencies
--> Running transaction check
---> Package cloudera-manager-agent.x86_64 0:5.7.0-1.cm570.p0.76.el6 will be updated
---> Package cloudera-manager-agent.x86_64 0:5.8.0-1.cm580.p0.42.el6 will be an update
base/filelists_db | 6.4 MB 00:01
cloudera-cdh5/filelists | 405 kB 00:00
cloudera-gplextras5/filelists | 5.6 kB 00:00
cloudera-kafka/filelists | 1.3 kB 00:00
cloudera-manager/filelists | 110 kB 00:00
epel/filelists_db | 8.0 MB 00:01
extras/filelists_db | 38 kB 00:00
updates/filelists_db | 1.1 MB 00:00
vmware-tools/filelists | 6.0 kB 00:00
---> Package cloudera-manager-daemons.x86_64 0:5.7.0-1.cm570.p0.76.el6 will be updated
---> Package cloudera-manager-daemons.x86_64 0:5.8.0-1.cm580.p0.42.el6 will be an update
---> Package cloudera-manager-server.x86_64 0:5.7.0-1.cm570.p0.76.el6 will be updated
---> Package cloudera-manager-server.x86_64 0:5.8.0-1.cm580.p0.42.el6 will be an update
--> Finished Dependency Resolution
Dependencies Resolved
================================================================================
Package Arch Version Repository Size
================================================================================
Updating:
cloudera-manager-agent x86_64 5.8.0-1.cm580.p0.42.el6 cloudera-manager 7.5 M
cloudera-manager-daemons x86_64 5.8.0-1.cm580.p0.42.el6 cloudera-manager 529 M
cloudera-manager-server x86_64 5.8.0-1.cm580.p0.42.el6 cloudera-manager 8.2 k
Transaction Summary
================================================================================
Upgrade 3 Package(s)
Total download size: 537 M
Is this ok [y/N]: y
Downloading Packages:
(1/3): cloudera-manager-agent-5.8.0-1.cm580.p0.42.el6.x8 | 7.5 MB 00:01
(2/3): cloudera-manager-daemons-5.8.0-1.cm580.p0.42.el6. | 529 MB 02:16
(3/3): cloudera-manager-server-5.8.0-1.cm580.p0.42.el6.x | 8.2 kB 00:00
--------------------------------------------------------------------------------
Total 3.9 MB/s | 537 MB 02:18
Running rpm_check_debug
Running Transaction Test
Transaction Test Succeeded
Running Transaction
Updating : cloudera-manager-daemons-5.8.0-1.cm580.p0.42.el6.x86_64 1/6
Updating : cloudera-manager-server-5.8.0-1.cm580.p0.42.el6.x86_64 2/6
Updating : cloudera-manager-agent-5.8.0-1.cm580.p0.42.el6.x86_64 3/6
Cleanup : cloudera-manager-agent-5.7.0-1.cm570.p0.76.el6.x86_64 4/6
Cleanup : cloudera-manager-server-5.7.0-1.cm570.p0.76.el6.x86_64 5/6
Cleanup : cloudera-manager-daemons-5.7.0-1.cm570.p0.76.el6.x86_64 6/6
Verifying : cloudera-manager-server-5.8.0-1.cm580.p0.42.el6.x86_64 1/6
Verifying : cloudera-manager-daemons-5.8.0-1.cm580.p0.42.el6.x86_64 2/6
Verifying : cloudera-manager-agent-5.8.0-1.cm580.p0.42.el6.x86_64 3/6
Verifying : cloudera-manager-server-5.7.0-1.cm570.p0.76.el6.x86_64 4/6
Verifying : cloudera-manager-agent-5.7.0-1.cm570.p0.76.el6.x86_64 5/6
Verifying : cloudera-manager-daemons-5.7.0-1.cm570.p0.76.el6.x86_64 6/6
Updated:
cloudera-manager-agent.x86_64 0:5.8.0-1.cm580.p0.42.el6
cloudera-manager-daemons.x86_64 0:5.8.0-1.cm580.p0.42.el6
cloudera-manager-server.x86_64 0:5.8.0-1.cm580.p0.42.el6
Complete!
[cloudera@quickstart ~]$
※Cloudera Managerの最新版は5.8.1です
- インストールの確認
パッケージが正しく更新されていることを確認します。5.8.0に更新されていますね。
[cloudera@quickstart ~]$ rpm -qa 'cloudera-manager-*'
cloudera-manager-daemons-5.8.0-1.cm580.p0.42.el6.x86_64
cloudera-manager-agent-5.8.0-1.cm580.p0.42.el6.x86_64
cloudera-manager-server-5.8.0-1.cm580.p0.42.el6.x86_64
[cloudera@quickstart ~]$
- Cloudera Manager Serverを開始
Cloudera Manager Serverを開始します。
[cloudera@quickstart ~]$ sudo service cloudera-scm-server start
Starting cloudera-scm-server: [ OK ]
[cloudera@quickstart ~]$
-
しばらく待ってからWebUIにアクセスします。WebUIでアップグレードウィザードが開始されるので、画面の指示に従って先に進みます。
-
Cloudera Manager Agentのアップデート。基本的に画面の指示に従って進めます。
- 最後にホストインスペクタが実行されます。問題がないかどうかを確認しましょう。
おめでとうございます！完了です。
あまり手を煩わされることもなく Cloudera Manager のアップグレードが完了しました。
Cloudera Manager が5.8にアップデートされたので、続いて CDH 5.8.0 に更新します。
CDH を最新バージョンに更新
Cloudear Manager のアップグレードが完了したので、続いて CDH も最新ににアップグレードしましょう。下記のように、現在は 5.7.0 になっています。
Parcel の更新
Cloudera Manager で管理する CDH は Parcel または パッケージのいずれかの形式で行います。今回の環境は Parcel 形式でCDHが導入されているので、メニューにあるアイコンをクリックして開始します。
初期状態では最新のCDH 5.8.0 が表示されていませんでした。
設定ボタンを押して設定画面に移動します
Parcelのレポジトリが CDH 5.7.0 を指しているので 5.8.0 に変更します。
先ほどの画面に CDH5.8.0 のパーセルが表示されるので、ダウンロードします。
ダウンロードが終わったら各ノードに配布します（が、今回は１ノードなのであまり時間はかからない..）
配布が終わったらアップグレードができるようになっています。
（心の）準備ができたらアップグレードを開始しましょう。
CDH 5.8.0 へのアップグレード
アップグレードボタンを押すとウィザードが立ち上がります。
ドキュメントはちゃんと読みましょう（2回目）
ドキュメントを読んだらチェックボックスをチェックして続行します。自動的にソフトウェアの検出を行います。
続いてホストに問題があるかどうかが検査されます。今回の環境は無問題でした。
アップグレード手順の選択です。今回の環境は既に停止しているので、クラスタを完全に再起動しました。
アップグレードが始まります。
本来管理者として何をやっているか理解しておいた方がいいですが、これを手作業でやるのって大変ですよね。。。
これでアップグレードは完了です。
不要なサービスが上がっていたら落としておきましょう。
まとめ
Cloudera Manager を使うことで、比較的容易にクラスタのアップグレードを行うことができました。ドキュメントはちゃんと読んでおく必要がありますが、手作業での人的エラーを避けるには便利ですね。（しかも無料で使えるし、日本語化されているのは嬉しい）