Flume NG Install手順
前提
- jdkがインストールされていること
- 動作環境を参考に環境を用意する。
- wgetなど必要なツールはインストール済
今回は、AWS AMI ID(i-94632a92)を利用
インストール
"1-click Install" packageをダウンロード
wget http://archive.cloudera.com/cdh5/one-click-install/redhat/6/x86_64/cloudera-cdh-5-0.x86_64.rpm
ローカルインストール
sudo yum --nogpgcheck localinstall cloudera-cdh-5-0.x86_64.rpm
ローカルリポジトリの確認
/etc/yum.repos.d/配下に cloudera-cdh5.repoファイルが作成されていることを確認する。
Flume NG agentのインストール
yum install flume-ng-agent -y
Flume NG設定ファイルの作成（コピー）
cp /etc/flume-ng/conf/flume-conf.properties.template /etc/flume-ng/conf/flume.conf
起動
/etc/int.d/flume-ng-agent start
起動確認
正常に起動されてflume.logにログが出力されていることを確認する
/var/log/flume-ng/flume.log
02 Jun 2014 23:36:43,771 INFO [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.LoggerSink.process:70) - Event: { headers:{} body: 38 31 38 30 38 81808 }
02 Jun 2014 23:36:43,771 INFO [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.LoggerSink.process:70) - Event: { headers:{} body: 38 31 38 30 39 81809 }
02 Jun 2014 23:36:43,772 INFO [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.LoggerSink.process:70) - Event: { headers:{} body: 38 31 38 31 30 81810 }
02 Jun 2014 23:36:43,772 INFO [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.LoggerSink.process:70) - Event: { headers:{} body: 38 31 38 31 31 81811 }
02 Jun 2014 23:36:43,772 INFO [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.LoggerSink.process:70) - Event: { headers:{} body: 38 31 38 31 32 81812 }
サービス自動起動設定
chkconfig flume-ng-agent on
自動設定の確認
# chkconfig --list | grep flume-ng-agent
flume-ng-agent 0:off 1:off 2:on 3:on 4:on 5:on 6:off
以上