【まだ終わらない】fluentd + hbaseが動くまでのはずだったが動かないので更新中

  • 0
    いいね
  • 0
    コメント

    GeekWomenJapan Advent Calendar 2016 の22日目の記事です。

    書いた記事が消えたりとか、これから自走で東名を400km走るのですがその前にfluentdのpluginメンテナンスやっていますが、OSSのメンテナンスほんと大変ですね。ちゃんとやるのを来年の目標にしたいとおもいます。hbase pluginは仕事でつかっているのですが、hbaseが巨大戦艦すぎて設定とかまともにするのがすごい大変です。

    https://github.com/yuuna/fluent-plugin-hbase

    hbaseのインストール

    Macのローカルでも動いたりうごかなかったり、Dockerで動かしてもいまいちVM環境だと挙動が不安定だったりします。一番楽にhomebrewでやっと入るようになったので対応してみます。

    $ brew install hbase
    

    fluentdのインストール

    td-agentとfluentdの違いが難しいのですが、fluentdというプログラムをつかってTreasure Dataさんのサービスに送るのがtd-agentだとおもうと分かり易いと思います。ほんとか。

    rvmのインストールとかおわっていて、fluentdをgemでインストールします。、

    $ gem install fluentd
    $ fluentd --setup ./
    

    fluentd gemのインストール

    hbase pluginをいれます。

    $ gem install fluent-plugin-hbase
    
    
    Fetching: i18n-0.5.4.gem (100%)
    Successfully installed i18n-0.5.4
    Fetching: builder-2.1.2.gem (100%)
    Successfully installed builder-2.1.2
    Fetching: activesupport-3.0.20.gem (100%)
    Successfully installed activesupport-3.0.20
    Fetching: activemodel-3.0.20.gem (100%)
    Successfully installed activemodel-3.0.20
    Fetching: thrift-0.6.0.gem (100%)
    Building native extensions.  This could take a while...
    ERROR:  Error installing fluent-plugin-hbase:
        ERROR: Failed to build gem native extension.
    
        current directory: /Users/yuuna/.rvm/gems/ruby-2.3.1/gems/thrift-0.6.0/ext
    /Users/yuuna/.rvm/rubies/ruby-2.3.1/bin/ruby -r ./siteconf20161228-36027-1lfvf0v.rb extconf.rb
    checking for strlcpy() in string.h... yes
    creating Makefile
    
    To see why this extension failed to compile, please check the mkmf.log which can be found here:
    
    

    さあ動かない問うことでかえってメンテナンスします。
    年末までに更新をするということでOSSのメンテナンスは覚悟をもってやりたいとおもいます。

    この投稿は GeekWomenJapan Advent Calendar 201622日目の記事です。