Logstashを使ってTwitterのストリームをElasticsearchServiceにぶっ込む

事前準備

• AWSでElastickSearch Serviceのクラスタを作る。
• Twitterのconsumer_key, consumer_secret, oauth_token, oauth_token_secretを事前に発行しておく。

install

$ yum install java
$ wget https://download.elastic.co/logstash/logstash/packages/centos/logstash-1.5.3-1.noarch.rpm
$ rpm -ivh logstash-1.5.3-1.noarch.rpm
$ /opt/logstash/bin/logstash --version

logstach.conf

input {
  twitter {
    consumer_key => "???"
    consumer_secret => "???"
    oauth_token => "???"
    oauth_token_secret => "???"
    keywords => ["ごちうさ", "ぴょんぴょん"]
    full_tweet => true
  }
}
output {
  elasticsearch {
    host => "???"
    port => "80"
    protocol => "http"
    index => "twitter"
  }
  stdout { }
}

• input.twitter.key_wordsに適当に引っ掛けたいテキストを複数指定することができる。
• output.elasticsearch.hostにAWSで作ったElasticSearchのホスト名を入力

動作確認

/opt/logstash/bin/logstash -f logstash.conf

ElasticSearchにデータが入ってくるのを確認できればOK

Logstashをdaemon化

/etc/init.d/logstashのスクリプトを実行すれば良い。

LS_CONF_DIR=/etc/logstash/conf.d

上記にconfigを置いてあげればよいようだ。

mv logstash.conf /etc/logstash/conf.d/
/etc/init.d/logstash start

以上。
ElasticSearch Searviceはkibanaもくっついているので、あとはお好みで可視化すればよい。
今回はなんか面白そうだから、簡単にやってみただけですが、ElasticSearchに関してもっと、使いこなせるようになりたいですなぁ。色んなソリューションが考えれそう。