Cloudera Manager Advent Calendar 2015の21日目です。
Cloudera Manager が大変素晴らしい Hadoop 運用管理ソフトウェアであることは言うまでもないことだが、世の中にはまだまだこのソフトウェアの存在を知らずに苦労されている方が多いように思う。
本記事では、様々なタイプ別に、どのような人が Cloudera Manager を使うべきなのかについて紹介していきたい。
はじめに
この記事はCloudera社員によって作成された記事です。
データ解析をメインに行いたい。構築・運用に手間をかけたくない
データサイエンティストであれば、当然データの解析そのものに集中したいはずだ。
構築、運用はなるべく楽に済ませたい。
社内にHadoop担当のインフラエンジニアがいればいいが、小規模なチームであればそうもいかない。
しかし、Hadoop単体の構築・運用は難しく、データサイエンティストと言いながらその時間のほとんどをクラスタの運用に費やしてしまうというのはよく聞く話である。
Cloudera Manager なら、構築もあっという間に終わり、運用もとても楽である。
こちらの日本語の説明つきインストール動画を見れば、どれほど簡単にインストールできるか理解できるだろう。
この動画で用いているClouderaはC4.5系と少々古いが、最新のC5.5とほとんど変わらない。
開発をメインに行いたい。構築・運用に手間をかけたくない
ビッグデータアプリケーションの開発者も、データサイエンティスト同様、構築や運用にはなるべく時間を使いたくないだろう。
障害解析となると、さらに大変な思いをすることになる。
アプリケーションのバグなのか、基盤側の障害なのかを切り分けるのも一苦労だ。
分散システムというのはとにかく障害解析が難しい。ネットワーク遅延などの問題は障害の再現性を困難にするし、各サーバのログを一つ一つ読むのも多大な労力を要する。
Cloudera Manager なら、障害解析もとても簡単である。クラスタ横断のログ検索もできるし、SQL接続するアプリケーションを開発している場合はImpalaのクエリ検索なども簡単だ。
Cloudera Managerを使ったトラブルシューティングのスライドや、その補足記事などにも目を通すといいだろう。
Hadoopの運用について勉強したいので管理ツールなしで手作業で構築・運用したい
運用管理ツールを使うと、内部動作について不明な点が多くなるため、ツールなしで運用をしたいという人もいることだろう。
そういう人にこそ、是非Cloudera Managerを使ってほしい。
Cloudera Managerでは全ての操作について、Linuxコマンドレベルでの実行ログを閲覧することができる。
これにより、Cloudera Managerなしでの操作を正しく追いかけることができる。
利点はそれだけではない。Cloudera Managerを使えば運用時の正しい手順を学ぶことができる。
Hadoopクラスタは起動・停止一つとってもかなりのステップの作業が必要となり、しかも手順を間違えると障害発生に至ってしまうようなケースもある。
HDFSだけ、Hiveだけといったような個々のコンポーネントのみの運用手順であればともかく、多数のコンポーネントを複雑に組み合わせたクラスタの正しい運用手順を示すようなドキュメントは存在しない。
しかし、Cloudera Manager なら構成や設定から正しい手順を自動的に実行していくことになる。
これにより、運用における正しい方法を効率よく学ぶことができるようになるのだ。
CDH単体で運用してるけど辛い
「昔CDHだけで構築して3-4年運用しているだけどもう辛いです」という悲鳴はあちこちで聞く。
安心してほしい。Cloudera ManagerならCDH単体での運用からCloudera Manager管理下に移行できるのだ。
詳しくはこちらの記事を参考にしてほしい。
まとめ
本記事では、様々な課題を抱えている人にとってCloudera Managerが最適な運用管理ソフトであることを紹介した。
もし本記事で挙げたようなケースに当てはまる人は、今すぐ使い始めてみよう。