Amazon EMR(hive) + 外部メタストア(RDS)を利用した構築メモ

Amazon EMR + 外部metastore( Amazon RDS for mysql)の構築手順

hive外部メタストアのをRDSで構築し、hiveとhueのデータ両方を格納するDBとする場合の手順。
のほほんと設定しているだけだとエラーが発生して、起動しなかったのでメモ。

まとめ

Hueもインストールするときは、create database <hue用のデータベース名>;を実行してあらかじめつくりましょう。（完）

Amazon RDS の作成

１．適当に作成する。
２．起動後、必要であればmetastoreアクセスユーザを作成しておく。
３．user,passwordをメモしておく
４．　create database <hue用のデータベース名>;を実行してデータベースを作成しておく。

hive,hueの接続設定をかく。

Amazon EMRの起動設定のConfigurationsで利用する。

[{
	"Classification": "hive-site",
	"Properties": {
		"javax.jdo.option.ConnectionUserName": "metastoreにアクセスするためのユーザ",
		"javax.jdo.option.ConnectionPassword": "metastoreにアクセスするためのユーザパスワード",
		"javax.jdo.option.ConnectionURL": "jdbc:mysql://＜RDSエンドポイント＞:3306/<hiveのメタストアのデータを格納するDB名>?createDatabaseIfNotExist=true"
	},
	"Configurations": []
},{
	"Classification": "hue-ini",
	"Properties": {},
	"Configurations": [{
		"Classification": "desktop",
		"Properties": {
			"time_zone": "Asia/Tokyo"
		},
		"Configurations": [{
			"Classification": "database",
			"Properties": {
				"password": "metastoreにアクセスするためのユーザ",
				"engine": "mysql",
				"port": "3306",
				"host": "＜RDSエンドポイント＞",
				"name": "hue用のデータベース名",
				"user": "metastoreにアクセスするためのユーザ"
			},
			"Configurations": []
		}]
	}, {
		"Classification": "beeswax",
		"Properties": {
			"hive_server_port": "10000"
		},
		"Configurations": []
	}]
}]

EMRの起動

ポイントのみ

• Configurationsに上記のJSONを書き込む。このときスペースと改行ははずす。（意味はないかもだけど）
• Security groupを適切に設定する。RDSにEMRクラスタからアクセスできること。