【まだ終わらない】fluentd + hbaseが動くまでのはずだったが動かないので更新中

GeekWomenJapan Advent Calendar 2016 の22日目の記事です。

書いた記事が消えたりとか、これから自走で東名を400km走るのですがその前にfluentdのpluginメンテナンスやっていますが、OSSのメンテナンスほんと大変ですね。ちゃんとやるのを来年の目標にしたいとおもいます。hbase pluginは仕事でつかっているのですが、hbaseが巨大戦艦すぎて設定とかまともにするのがすごい大変です。

hbaseのインストール

Macのローカルでも動いたりうごかなかったり、Dockerで動かしてもいまいちVM環境だと挙動が不安定だったりします。一番楽にhomebrewでやっと入るようになったので対応してみます。

$ brew install hbase

fluentdのインストール

td-agentとfluentdの違いが難しいのですが、fluentdというプログラムをつかってTreasure Dataさんのサービスに送るのがtd-agentだとおもうと分かり易いと思います。ほんとか。

rvmのインストールとかおわっていて、fluentdをgemでインストールします。、

$ gem install fluentd
$ fluentd --setup ./

fluentd gemのインストール

hbase pluginをいれます。

$ gem install fluent-plugin-hbase


Fetching: i18n-0.5.4.gem (100%)
Successfully installed i18n-0.5.4
Fetching: builder-2.1.2.gem (100%)
Successfully installed builder-2.1.2
Fetching: activesupport-3.0.20.gem (100%)
Successfully installed activesupport-3.0.20
Fetching: activemodel-3.0.20.gem (100%)
Successfully installed activemodel-3.0.20
Fetching: thrift-0.6.0.gem (100%)
Building native extensions.  This could take a while...
ERROR:  Error installing fluent-plugin-hbase:
    ERROR: Failed to build gem native extension.

    current directory: /Users/yuuna/.rvm/gems/ruby-2.3.1/gems/thrift-0.6.0/ext
/Users/yuuna/.rvm/rubies/ruby-2.3.1/bin/ruby -r ./siteconf20161228-36027-1lfvf0v.rb extconf.rb
checking for strlcpy() in string.h... yes
creating Makefile

To see why this extension failed to compile, please check the mkmf.log which can be found here:

さあ動かない問うことでかえってメンテナンスします。
年末までに更新をするということでOSSのメンテナンスは覚悟をもってやりたいとおもいます。