More than 5 years have passed since last update.

Cloudera QuickstartでImpala Kuduが使えるようになるまでにしたこと

Last updated at 2016-09-05Posted at 2016-09-03

1.はじめに

今回はを予めClouderaManager、及びCDHの環境が構築されたdockerイメージであるcloudera/quickstartを使用してkuduの構築を行う。
ただし試行錯誤した末に構築できたものなので、少々余分な設定があると思われる。

2.dockerイメージのダウンロードと起動

①Dockerイメージのダウンロード

$ docker pull cloudera/quickstart:latest

②Dockerコンテナのバックグラウンド起動

$ docker run --hostname=quickstart.cloudera --name=cloudera --privileged=true -t -i -d  -p 7180 -p 80 -p 8888 cloudera/quickstart:latest /usr/bin/docker-quickstart

③Dockerコンテナへ接続

$ docker exec -it cloudera bash

3.kuduサービス追加の事前設定

これまではホストOS上でDockerコマンドを使用していたが、ここからはコンテナ上の操作となる。

①kuduのrepoファイルを取得

cd /etc/yum.repos.d/
curl -O http://archive.cloudera.com/beta/kudu/redhat/6/x86_64/kudu/cloudera-kudu.repo

②kuduのインストール

sudo yum install kudu -y

③kuduのCSD(Custom Service Descriptor)を追加
CSDはClouderaMangerのアドオンに必要なファイルのこと。

cd /opt/cloudera/csd
curl -O http://archive.cloudera.com/beta/kudu/csd/kudu-latest

jarの拡張子を付与する。
※拡張子を付与しないと何故かClouderaManagerに表示されない。
latest以外はjarの拡張子があるのでそれを取得してもよい。
ちなみに今現在の最新版は0.10である。

mv kudu-latest kudu-latest.jar

clouderaユーザが使用できるためにとりあえず777で権限付与しておく。

chmod 777 kudu-latest.jar

④kudu用ディレクトリ作成
kuduで必要になるMasterServer、TabletServer用のディレクトリを作成し、権限を付与する。

cd /opt

mkdir fs_wal_dir_master fs_data_dirs_master fs_wal_dir_tablet fs_data_dirs_tablet

chmod 777 fs_wal_dir_master fs_data_dirs_master fs_wal_dir_tablet fs_data_dirs_tablet

⑤NTPの設定
KuduはMasterServerをNTPサーバにして、TabletServerと時刻同期する必要がある。Kuduは時刻に相当シビアであり、ずれるとすぐにKuduのサービスがダウンとなる。

sudo yum -y install ntp

日本標準時間に設定する。

sudo ln -sf /usr/share/zoneinfo/Asia/Tokyo /etc/localtime

自分自身をNTPサーバの頂点にするために、元のNTP接続先はコメントにし、server 127.127.1.0を追加設定する。

/etc/ntp.conf

#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
server 127.127.1.0

NTPサーバを起動する。

sudo service ntpd start

正しく時刻同期できているか確認する。ntpq -pコマンドの結果でLOCALの左に*があればOK。

# ntpq -p
     remote           refid      st t when poll reach   delay   offset  jitter
==============================================================================
*LOCAL(0)        .LOCL.           5 l    2   64    1    0.000    0.000   0.004

⑥impala-kuduのインストール

元のimpalaサービスをアンインストールする。

yum remove impala impala-catalog impala-server impala-shell impala-state-store impala-udf-devel -y

impala-kuduのrepoファイルを取得する。

cd /etc/yum.repos.d/
curl -O http://archive.cloudera.com/beta/impala-kudu/redhat/6/x86_64/impala-kudu/cloudera-impala-kudu.repo

impala-kuduをインストールする。

yum install impala-kudu impala-kudu-catalog impala-kudu-debuginfo impala-kudu-server mpala-kudu-shell impala-kudu-state-store impala-kudu-udf-devel -y

⑦ClouderaMangerの起動

/home/cloudera/cloudera-manager --express --force

結構時間がかかる。

※先にClouderaManagerを起動していた場合は、service cloudera-scm-server restartでサービス再起動するだけでよい。

下記の結果が出力されればClouderaMangerの起動完了

4.ClouderaManagerからkuduサービスの追加

①ブラウザを起動してClouderaManagerに接続
事前にホストOS側でdocker psコマンドから、コンテナのポート番号7180にマッピングされたホストOSのポート番号を確認する。

$ docker ps
CONTAINER ID        IMAGE                        COMMAND                  	CREATED             STATUS              PORTS                                                                     	NAMES
02493a6f70d4        cloudera/quickstart:latest   "/usr/bin/docker-	quic"   15 hours ago        Up 15 hours         0.0.0.0:32806->80/	tcp, 0.0.0.0:32805->7180/tcp, 0.0.0.0:32804->8888/tcp   cloudera

上記結果からポート番号32805 がホスト側にマッピングされているため、ブラウザを起動しhttp://localhost:32805へ接続すると下記画面が表示される。