Cloudera DirectorでCDH5.7を入れる方法

AWSやGCPにさくっとHadoopクラスターを立てられるCloudera Directorですが、皆さん使っているでしょうか？

一つのDirectorサーバーからマルチCloudをまたいでクラスターを立てたり、ノード数の変更もお手軽にできたりととても簡単なので、是非試してみてください。
なお、僕はこの動画を見て試してみて、その日のうちにClusterを管理できるようになっていました。
https://vimeo.com/120721587

導入方法は以下が参考になります。

• 公式（英語だけど、step by stepでめっちゃ丁寧）
  • AWS: Setting up the AWS Environment
  • GCP: Creating a Google Cloud Platform Project
• 日本語の説明（補足的に見るといい）
  • Cloudera Director のインストール方法 - Qiita

ちなみに、今回はAWSで試しましたが、インスタンスは以下のようにしました。

• Directorサーバー: c4.large
• Cloudera Manager, masterサーバー: m4.xlarge, root volume: gp2 50GB
• workerサーバー: m4.xlarge, root volume type: standard 100GB

この設定中で、一点だけハマったところがありました。
現在、最新のCDHは5.7.1なのですが、Cloudera Director 2.0ではCDH 5.5が入ってしまいます。
2箇所設定をするだけで、CDH 5.7が入れることができます。 が、凄い気づきにくいので やり方を共有します。

設定ポイント

• Cloudera ManagerのRepository URL
• Default ParcelのRepository URL

Cloudera ManagerのRepository URL

デフォルトでは、レポジトリURLの設定が出てきません。
なので、Configurations (optional)を選び Override default Cloudera Manager repositoryというチェックボックスにチェックを入れます。

すると、Cloudera ManagerのレポジトリURLの設定が出てくるので、 Exampleをコピーして、5.5 とあるのを5.7に置換しましょう。
今回は http://archive.cloudera.com/cm5/redhat/6/x86_64/5.7/ としました。

Default ParcelのRepository URL

Cloudera Managerでは、HiveやSparkなどの各コンポーネントはParcelで管理されています。yumのrpmやapt-getのdebみたいな感じです。
それのリポジトリも、デフォルトだと5.5を向いているので、5.7にしないといけません。

Cloudera Managerの立ち上げ後、masterやworkerのインスタンスを起動する際にオプションで与えます。
例によって、Override default parcel repositoriesにチェックを入れます。

すると、parcelレポジトリのURLが指定できるようになるので、Cloudera Managerと同様にExampleをコピーして5.5を5.7に置換します。
今回は http://archive.cloudera.com/cdh5/parcels/5.7/ といれます。

これでCDH 5.7でGAになった Hive on Sparkも試したい放題ですね！