td-agent に fluent-plugin-mysql を yum でインストールできるように、gem から rpm を作って yum リポジトリにしてみました。
- for CentOS 7.2.1511
手順
必要そうなパッケージをインストールします。
sudo yum -y install yum-utils createrepo rpm-build gcc make mysql-devel ruby rubygems ruby-devel
sudo gem install fpm
td-agent をインストールします。
curl -fsSL https://toolbelt.treasuredata.com/sh/install-redhat-td-agent2.sh | sh
td-agent の rpm をダウンロードします。
yumdownloader --enablerepo=treasuredata --destdir=td-agent/rpm td-agent
fpm コマンドを使って td-agent の rpm と同じディレクトリに gem から rpm を作ります。
cd td-agent/rpm
fpm -s gem -t rpm --gem-package-name-prefix=td-agent --gem-gem=td-agent-gem \
--depends=td-agent mysql2
fpm -s gem -t rpm --gem-package-name-prefix=td-agent --gem-gem=td-agent-gem \
--depends=td-agent mysql2-cs-bind
fpm -s gem -t rpm --gem-package-name-prefix=td-agent --gem-gem=td-agent-gem \
--depends=td-agent --gem-disable-dependency=multi_json jsonpath
fpm -s gem -t rpm --gem-package-name-prefix=td-agent --gem-gem=td-agent-gem \
--depends=td-agent --gem-disable-dependency=fluentd fluent-plugin-mysql
もとのディレクトリに戻って createrepo で yum リポジトリを作成します。
cd -
createrepo td-agent/
インストールしてみる
↑で作成した yum リポジトリには td-agent も含んでいるので、既にインストールしているなら一旦削除します。
sudo yum erase td-agent
treasuredata のリポジトリも無効にしておきます。
sudo mv /etc/yum.repos.d/td.repo{,.bak}
ローカルのディレクトリを参照する yum リポジトリの設定ファイルを作ります。
sudo tee /etc/yum.repos.d/td-agent-local.repo <<EOS
[td-agent-local]
name = td-agent-local
baseurl = file://$PWD/td-agent
gpgcheck = 0
EOS
repolist でリポジトリが有効になっていることを確認します。
sudo yum repolist
yum で td-agent と fluent-plugin-mysql をインストールします。
sudo yum install td-agent td-agent-fluent-plugin-mysql
使ってみる
うまいことインストールされていることを確かめるために、試しに使ってみます。
MariaDB をインストールして適当なテーブルを作ります。
sudo yum install mariadb-server
sudo systemctl start mariadb.service
mysql test <<'EOS'
create table logs (
id int not null primary key auto_increment,
log_date datetime not null,
message text not null
);
EOS
td-agent の設定ファイルを作って td-agent を開始します。
sudo tee /etc/td-agent/td-agent.conf <<'EOS'
<source>
@type tail
path /var/log/oreore.log
pos_file /var/log/td-agent/oreore.log.pos
format ltsv
tag oreore.log
</source>
<match oreore.log>
@type mysql_bulk
host localhost
database test
username test
column_names log_date,message
key_names ${time},message
table logs
flush_interval 10s
</match>
EOS
sudo systemctl start td-agent.service
ログを書きます。
echo "message:ore" | sudo tee -a /var/log/oreore.log
echo "message:are" | sudo tee -a /var/log/oreore.log
echo "message:sore" | sudo tee -a /var/log/oreore.log
echo "message:dore" | sudo tee -a /var/log/oreore.log
echo "message:hore" | sudo tee -a /var/log/oreore.log
DB に書き込まれているか見てみます。
mysql test -e 'select * from logs'
次のように書き込まれていました。
+----+---------------------+---------+
| id | log_date | message |
+----+---------------------+---------+
| 1 | 2016-10-04 13:33:32 | ore |
| 2 | 2016-10-04 13:33:32 | are |
| 3 | 2016-10-04 13:33:32 | sore |
| 4 | 2016-10-04 13:33:32 | dore |
| 5 | 2016-10-04 13:33:32 | hore |
+----+---------------------+---------+
fpm について
手順の途中で fpm で下記のように gem から rpm を作成していますが・・・
fpm -s gem -t rpm --gem-package-name-prefix=td-agent --gem-gem=td-agent-gem \
--depends=td-agent mysql2
fpm -s gem -t rpm --gem-package-name-prefix=td-agent --gem-gem=td-agent-gem \
--depends=td-agent mysql2-cs-bind
fpm -s gem -t rpm --gem-package-name-prefix=td-agent --gem-gem=td-agent-gem \
--depends=td-agent --gem-disable-dependency=multi_json jsonpath
fpm -s gem -t rpm --gem-package-name-prefix=td-agent --gem-gem=td-agent-gem \
--depends=td-agent --gem-disable-dependency=fluentd fluent-plugin-mysql
-s gem -t rpm は gem から rpm を作るという意味です。
--gem-package-name-prefix=td-agent は rpm の名前のプレフィックスを td-agent にするという意味です。例えば fluent-plugin-mysql という gem であれば td-agent-fluent-plugin-mysql という rpm になります。デフォルトは rubygems かなにかだったと思うんですけど、td-agent の embedd ではないシステムデフォルトの ruby と紛らわしそうなのでプレフィックを td-agent に変更しています。
--gem-gem=td-agent-gem は gem コマンドに td-agent-gem を使うという意味です。デフォルトだと gem なのででシステムにインストールされている gem が使われます。td-agent-gem が使われるように指定しています。
--depends=td-agent は rpm の依存関係に td-agent を追加します。
--gem-disable-dependency=multi_json と --gem-disable-dependency=fluentd は、gem の依存からこれらを省きます。gem の依存を元に rpm の依存が自動で追加されるため、これを指定しておかないと td-agent-multi_json とか td-agent-fluentd とかに依存するようになります。これらの gem は td-agent にバンドルされているので、td-agent を依存に追加しているならこれらの依存は不要です。
さいごに
オフラインで fluent-plugin-mysql をインストールできるように rpm にしてみましたが、よく考えれば下記のように gem をダウンロードしておくだけでも良かったでした。
td-agent-gem fetch mysql2
td-agent-gem fetch mysql2-cs-bind
td-agent-gem fetch jsonpath
td-agent-gem fetch fluent-plugin-mysql
mysql2 が native extension なのでインストール時に gcc とかのビルド環境は必要ですが。