Cloudera Manager Advent Calendar 2015の14日目です。

Cloudera Manager（以下CM）の最新バージョンは12月にリリースされた5.5.1です。数えてみたところ、2015年は実に22回のアップデートリリース（バグフィックスリリース含む）がありました。うち、新機能を含むマイナーアップデートは5.4と5.5の二度でした。つまり残り20のリリースはすべてバグフィックスだったわけですね。

本ポストでは、5.4と5.5で追加された新機能を紹介したいと思います。

参考: What's New in Cloudera Manager 5
http://www.cloudera.com/content/www/en-us/documentation/enterprise/latest/topics/cm_rn_new_changed_features.html

Cloudera Manager 5.4

サポートOSの追加

RHEL 6.6、CentOS 6.6が追加されました

インストールするCDHバージョンの制限

CMを使ってCDHをインストールする場合、CDHのマイナーバージョン < CMのマイナーバージョンである必要があります。たとえば、CM 5.4.xでサポートしているCDHのバージョンは、CDH 4.0.0 - 4.x.x, CDH 5.0.0 - 5.4.xとなり、5.5系はサポートされません。CM 5.4からは、サポートしていない古いバージョンのCDHをそもそもインストールさせないようにする改善がありました。

参考: Product Compatibility Matrix for CDH and Cloudera Manager
http://www.cloudera.com/content/www/en-us/documentation/enterprise/latest/topics/pcm_cdh_cm.html

ロールの割り当て変更ウィザード

NameNode HA構成において、既存のNameNodeやJournalNodeなどがアサインされているホストを変更するためのウィザードが追加されました。

参考: Moving NameNode Roles
http://www.cloudera.com/content/www/en-us/documentation/enterprise/latest/topics/admin_nn_migrate_roles.html

DataNodeホットスワップの支援機能

CDH 5.4で、HDFS-1362 - Provide volume management functionality for DataNodeで実装されたDataNodeのホットスワップ機能が追加されました。これはディスクを入れ替える際に、DataNodeのデコミッションが不要というものです。ディスクを交換後、「データディレクトリの更新」を実行してやれば作業は完了です。

参考: Performing Disk Hot Swap for DataNodes
http://www.cloudera.com/content/www/en-us/documentation/enterprise/latest/topics/admin_dn_swap.html

機密データのマスキング機能の補助

Hadoopクラスタのログファイル、Hive/Impalaクエリに含まれる任意の機密データのマスキングを簡単に行えるようなUIを提供しています。

参考: Hadoopが扱う機密データのマスキングについて
http://qiita.com/d1ce_/items/fa5640403844b608c03d

クラスタ間の設定の差分表示機能

CMは複数のクラスタを管理可能ですが、クラスタ間で設定の差分を一覧表示することができるようになりました。もちろん、そのまま変更することもできます。

参考: Cloudera Managerを使った複数クラスタの管理と設定の差分
http://qiita.com/d1ce_/items/b62928e1c38f26e8bab4

Cloudera Manager 5.5

サポートOSの追加

RHEL/CentOS 6.6、6.7、7.1と、Oracle Enterprise Linux 7.1が追加されました。

サポートデータベースの追加

バックエンドに使うRDBMSに、MariaDB 5.5、Oracle 12c、PostgreSQL 9.4が追加されました。

アップグレードウィザードのリトライ機能

CMを使えばCDHのアップグレードも自動化されるわけですが、これまではステップの途中で一度失敗すると残りのステップをマニュアル実行する必要がありました。CM 5.5で追加されたリトライ機能では、失敗したステップから再実行させることが可能になりました。

参考: Re-Running the Cloudera Manager Upgrade Wizard
http://www.cloudera.com/content/www/en-us/documentation/enterprise/latest/topics/cm_ag_rerun_upgrade_wiz.html

警告のSuppression機能

CMは定期的にプロセスのヘルスチェックや設定が妥当であるかをチェックしてくれます。チェックにひっかかると警告が表示されますが、環境や運用上の理由から対応する必要がないものもあるでしょう。そのようなメッセージはSuppressしてやることで今後表示されなくなります。もちろん、元に戻すことも可能です（Unsuppressing）。

参考: Suppressing a Health Test/Unsuppressing Health Tests
http://www.cloudera.com/content/www/en-us/documentation/enterprise/latest/topics/cm_dg_health.html

Kafkaのサポートを強化

主に以下の機能が追加されています

ローリングリスタート
メトリクスの大幅な追加
デフォルト設定項目の追加
Active ControllerのBrokerを表示

最後に

これでもほんの一部なのですが、比較的わかりやすい新機能を紹介してみました。2016年もより使いやすくなるよう改善があることでしょう。期待したいですね。