qiita初投稿です。
最近、Cloudera Director 触っています。
公式以外の情報がなかなか少なく、手探りな状態でいろいろやっています。
※ Cloudera Director2.0の内容です
前置き、Cloudera Director?
オンプレミス環境でHadoopクラスタを運用していてスレーブ追加、、
案外やることが、あったりします。
HW周りの設定、NWの配線といった物理作業、OSインスト、OS/kernel周りの設定、bonding設定。。。あ、、あぁ。。。
自動化できる作業もありますが、物理作業といった自動化できない作業/リードタイムが発生する事がオンプレミス環境では多くあります。
そもそも予備機がなく、発注から という事もあるでしょう。
そこで、クラウド、クラウドでCloudera Manager/CDHクラスタ使うならCloudera Director。クラウド環境前提なのですが、ボタン数ぽちで簡単にインスタンス自動作成といった環境構築、Cloudera Manager/CDHクラスタのインストール、スレーブ追加等出来てしまいます。検証用途にも使えて便利ですね。
EMR,Dataproc,マネージドのTreasureData,BigQuery等も世の中にありますが、Cloudera Manager/CDHクラスタがクラウド環境でよりラクに使えます。
そして、Cloudera Director 複数クラウド(AWSとGCP等)サポートしています。
環境構築からインストールは、Cloudera Director のインストール方法で紹介されていますので、こちらが出来ている前提とし、今回はスレーブ追加を書いてみようと思います。
スレーブ追加の前に 基本的な概念
Cloudera Directorで、クラスタのGUIに入ります。
(ここでは、Environment - test Cloudera Manager - cm03 Cluster - mote-clus1)
それぞれ以下のようになっています。
- Details -> クラスタの情報
- Service -> 稼働しているCDHサービス。ここはCloudera Managerのステータスを引継ぎます。
- 例えば、Cloudera Manager上でエラーでて赤くなっているものは、このService上にも表示され赤くなります。
- Instance groups -> CDHクラスタを構成する全インスタンス。Groupを束ねたもの。
- Group -> masterサーバ群,slaveサーバ群等をまとめた単位。デフォルトだとmasterグループ,workersグループ,gatewayグループ。
- Instance Template -> Group nameに対して一括してあてるTemplate。このTemplateに、インスタンスタイプとかどのAMIから起動する等の設定を入れる。
- Roles -> CDHサービスのインスト対象(NN,RM,HS2など)
上記の状態から、スレーブの追加を行っています。
現在workers(スレーブ)には3台のインスタンスがいる(Instance Statuesesの3より確認可)ので、こちらを4台にしてみます。
Cloudera Directorからスレーブ追加
以下の公式documentに記載されていますが、スクショつけて書いてみます
(Cloudera Directorについて記載したかったので、リバランスがどうとかは今回省略)。
Modifying the Number of Instances in an Existing Cluster
Cloudera Director GUIへアクセス -> 対象のEnvironmentsを選択(ここではtest) -> スレーブ追加したいCluster nameをクリック
Modify Clusterクリック
- 追加したいGroup Name(ロールグループ)のEditをクリック(ここではworkers)
- Add new number of instanceで台数を設定 -> OKクリック
- Instance Countが4 of 4 To be added 1になっている事が確認 -> Continue -> OKクリック
インスタンスが自動作成されて、Cloudera Managerで行うスレーブ追加の処理が自動で走ります
Cloudera Directorからも大まかな状態がわかり、Cloudera Directorの進捗画面カーソルあてると、実行中の処理が表示されます
(インスタンス自動作成後は、Cloudera Managerの画面からより詳細を確認できます)
追加されました!! Instance Statuesesで4になっているのを確認します。
なお、Instance TemplateでインスタンスタイプとかDiskサイズがどうとかのIaaS構成情報をもっているので、追加したスレーブもIaaS構成を既存へ揃える事が出来ます。
(Cloudera Directorについて記載したかったので、リバランスがどうとかは今回省略)
なお、今回は1台だけ追加しましたが、複数台の追加も可能ですし、
slaveサーバ群といったGroup単位でも一括して追加も出来てしまいます。
当然ながら、縮退も出来ます。
非常に便利ですね〜