Cloudera Manager Advent Calendar 2015の14日目です。
Cloudera Manager（以下CM）の最新バージョンは12月にリリースされた5.5.1です。数えてみたところ、2015年は実に22回のアップデートリリース（バグフィックスリリース含む）がありました。うち、新機能を含むマイナーアップデートは5.4と5.5の二度でした。つまり残り20のリリースはすべてバグフィックスだったわけですね。
本ポストでは、5.4と5.5で追加された新機能を紹介したいと思います。
参考: What's New in Cloudera Manager 5
http://www.cloudera.com/content/www/en-us/documentation/enterprise/latest/topics/cm_rn_new_changed_features.html
Cloudera Manager 5.4
サポートOSの追加
RHEL 6.6、CentOS 6.6が追加されました
インストールするCDHバージョンの制限
CMを使ってCDHをインストールする場合、CDHのマイナーバージョン < CMのマイナーバージョンである必要があります。たとえば、CM 5.4.xでサポートしているCDHのバージョンは、CDH 4.0.0 - 4.x.x, CDH 5.0.0 - 5.4.xとなり、5.5系はサポートされません。CM 5.4からは、サポートしていない古いバージョンのCDHをそもそもインストールさせないようにする改善がありました。
参考: Product Compatibility Matrix for CDH and Cloudera Manager
http://www.cloudera.com/content/www/en-us/documentation/enterprise/latest/topics/pcm_cdh_cm.html
ロールの割り当て変更ウィザード
NameNode HA構成において、既存のNameNodeやJournalNodeなどがアサインされているホストを変更するためのウィザードが追加されました。
参考: Moving NameNode Roles
http://www.cloudera.com/content/www/en-us/documentation/enterprise/latest/topics/admin_nn_migrate_roles.html
DataNodeホットスワップの支援機能
CDH 5.4で、HDFS-1362 - Provide volume management functionality for DataNodeで実装されたDataNodeのホットスワップ機能が追加されました。これはディスクを入れ替える際に、DataNodeのデコミッションが不要というものです。ディスクを交換後、「データディレクトリの更新」を実行してやれば作業は完了です。
参考: Performing Disk Hot Swap for DataNodes
http://www.cloudera.com/content/www/en-us/documentation/enterprise/latest/topics/admin_dn_swap.html
機密データのマスキング機能の補助
Hadoopクラスタのログファイル、Hive/Impalaクエリに含まれる任意の機密データのマスキングを簡単に行えるようなUIを提供しています。
参考: Hadoopが扱う機密データのマスキングについて
http://qiita.com/d1ce_/items/fa5640403844b608c03d
クラスタ間の設定の差分表示機能
CMは複数のクラスタを管理可能ですが、クラスタ間で設定の差分を一覧表示することができるようになりました。もちろん、そのまま変更することもできます。
参考: Cloudera Managerを使った複数クラスタの管理と設定の差分
http://qiita.com/d1ce_/items/b62928e1c38f26e8bab4
Cloudera Manager 5.5
サポートOSの追加
RHEL/CentOS 6.6、6.7、7.1と、Oracle Enterprise Linux 7.1が追加されました。
サポートデータベースの追加
バックエンドに使うRDBMSに、MariaDB 5.5、Oracle 12c、PostgreSQL 9.4が追加されました。
アップグレードウィザードのリトライ機能
CMを使えばCDHのアップグレードも自動化されるわけですが、これまではステップの途中で一度失敗すると残りのステップをマニュアル実行する必要がありました。CM 5.5で追加されたリトライ機能では、失敗したステップから再実行させることが可能になりました。
参考: Re-Running the Cloudera Manager Upgrade Wizard
http://www.cloudera.com/content/www/en-us/documentation/enterprise/latest/topics/cm_ag_rerun_upgrade_wiz.html
警告のSuppression機能
CMは定期的にプロセスのヘルスチェックや設定が妥当であるかをチェックしてくれます。チェックにひっかかると警告が表示されますが、環境や運用上の理由から対応する必要がないものもあるでしょう。そのようなメッセージはSuppressしてやることで今後表示されなくなります。もちろん、元に戻すことも可能です（Unsuppressing）。
参考: Suppressing a Health Test/Unsuppressing Health Tests
http://www.cloudera.com/content/www/en-us/documentation/enterprise/latest/topics/cm_dg_health.html
Kafkaのサポートを強化
主に以下の機能が追加されています
- ローリングリスタート
- メトリクスの大幅な追加
- デフォルト設定項目の追加
- Active ControllerのBrokerを表示
最後に
これでもほんの一部なのですが、比較的わかりやすい新機能を紹介してみました。2016年もより使いやすくなるよう改善があることでしょう。期待したいですね。