ElasticSearchを使用したTweet分析ツール作成方法

対象読者

これからElasticSearchを使用したいと思っている可視化ルール超初心者の方

作成物

Twitterデータの中から任意の文字列のTweetを抽出し可視化するツール

開発環境

Windowsローカル

STEP1：TwitterDevelopアカウント登録・API申請

上記URLにtwitterのDevelopアカウント登録とAPI申請を行う。
なぜ使うのか、Twitter機能のどれをどのように使うのかを英文で書かないといけなく
面倒ではあるがネットで検索すると登録・申請フローが詳細に記載されている記事が
割と出てくるので難易度は高くない。

STEP2：各ソフトのインストール

以下ソフトをローカルにダウンロード

ElasticSearch
Kibana
Logstash

https://www.elastic.co/jp/downloads/
まずは公式サイトにアクセスして上記ソフトをローカルにダウンロード・解凍

STEP3：logstashの設定ファイルを作成する

twitter-analysis.conf

input {
  twitter {
    # TwittrAPIの認証
    consumer_key => "認証情報"
    consumer_secret => "認証情報"
    oauth_token => "認証情報"
    oauth_token_secret => "認証情報t"
    # キーワードを指定
    keywords => ["門前仲町","東陽町","南砂町"]
    full_tweet => true
  }
}

output {
  elasticsearch {
    # ElasticSearchのURL
    hosts => ["http://localhost:9200/"]
    # インデックス名
    index => "twitter_cafe"
  }
}

STEP4：各ソフトの起動

ElasticSearch起動

 $ elasticsearch-7.9.2-windows-x86_64\elasticsearch-7.9.2\bin\elasticsearch.bat

ブラウザ上で下記が実行できればOK

http://localhost:9200/

Kibanaの起動

kibana-7.9.1-windows-x86_64\kibana-7.9.1-windows-x86_64\bin\kibana\bin

ブラウザ上で下記が実行できればOK

http://localhost:5601/

logstashの起動

sudo /usr/share/logstash/bin/logstash --path.settings=/etc/logstash/ --path.data ログ保存先 -f 設定ファイル

STEP5: Kibana上でindexを作成し、取り込み確認

まとめ

Tweetをキーワード検索してデータ可視化することができた。
応用すれば、現在のトレンドなどを可視化できるかもしれない。