Posted at

【まだ終わらない】fluentd + hbaseが動くまでのはずだったが動かないので更新中

More than 1 year has passed since last update.

GeekWomenJapan Advent Calendar 2016 の22日目の記事です。

書いた記事が消えたりとか、これから自走で東名を400km走るのですがその前にfluentdのpluginメンテナンスやっていますが、OSSのメンテナンスほんと大変ですね。ちゃんとやるのを来年の目標にしたいとおもいます。hbase pluginは仕事でつかっているのですが、hbaseが巨大戦艦すぎて設定とかまともにするのがすごい大変です。

https://github.com/yuuna/fluent-plugin-hbase


hbaseのインストール

Macのローカルでも動いたりうごかなかったり、Dockerで動かしてもいまいちVM環境だと挙動が不安定だったりします。一番楽にhomebrewでやっと入るようになったので対応してみます。

$ brew install hbase


fluentdのインストール

td-agentとfluentdの違いが難しいのですが、fluentdというプログラムをつかってTreasure Dataさんのサービスに送るのがtd-agentだとおもうと分かり易いと思います。ほんとか。

rvmのインストールとかおわっていて、fluentdをgemでインストールします。、

$ gem install fluentd

$ fluentd --setup ./


fluentd gemのインストール

hbase pluginをいれます。

$ gem install fluent-plugin-hbase

Fetching: i18n-0.5.4.gem (100%)
Successfully installed i18n-0.5.4
Fetching: builder-2.1.2.gem (100%)
Successfully installed builder-2.1.2
Fetching: activesupport-3.0.20.gem (100%)
Successfully installed activesupport-3.0.20
Fetching: activemodel-3.0.20.gem (100%)
Successfully installed activemodel-3.0.20
Fetching: thrift-0.6.0.gem (100%)
Building native extensions. This could take a while...
ERROR: Error installing fluent-plugin-hbase:
ERROR: Failed to build gem native extension.

current directory: /Users/yuuna/.rvm/gems/ruby-2.3.1/gems/thrift-0.6.0/ext
/Users/yuuna/.rvm/rubies/ruby-2.3.1/bin/ruby -r ./siteconf20161228-36027-1lfvf0v.rb extconf.rb
checking for strlcpy() in string.h... yes
creating Makefile

To see why this extension failed to compile, please check the mkmf.log which can be found here:

さあ動かない問うことでかえってメンテナンスします。

年末までに更新をするということでOSSのメンテナンスは覚悟をもってやりたいとおもいます。