elasticsearch kibana 個人記録メモ

■出来上がった環境

mac os x el capitain
homebrewにてインストール。
インストールは参考サイトに従ってインストール。ver5.5へのアップデートもbrewによってアップデートしただけ。アップデート前に起動していたElasticsearch, kibanaのプロセスはアップデート前に終了させておいたほうがアップデート後の動作確認で詰まらない。

elasticsearch --version
Version: 5.5.1, Build: 19c13d0/2017-07-18T20:44:24.823Z, JVM: 1.8.0_45
plugin -> analysis-kuromoji

python --version
Python 3.6.2(pyenv)

$ which python
/Users/xxxxx/.pyenv/shims/python

kibana --version
5.5.0

[kibana]http://localhost:5601/

■プログラムイメージ

twitterから情報取得(python)
elasticsearchへぶち込む(python)
ダッシュボードに表示(elasticsearch(+ analysis-kuromoji) + kibana)

■やったこと

1. elasticsearchインストール
2. kuromojiのpluginインストール
3. kibanaインストール
4. pyenvでpython versionを3.X系へ変更
5. elasticsearchのGUIからindex name = test_index を作成
6. elasticsearch mapping作成
7. pythonでtwitterからトレンド情報とトレンドツイート数、時刻を取得
8. python elasticsearchに登録
9. kibanaのDiscoveryに取得データが表示される事を確認

--- とりあえずココまで ---

■やりたい事

Twitterとインスタから楽しい事をする。
機械学習でTwitterとインスタどちらの投稿か違いを見つけて、それぞれの特徴を見つけて見るのもsampleとしては良い？だれかやってる気がするから調べておく。

■参考

●elasticsearch + kibana 環境設定

ElasticsearchとKibanaを使ってTwitterのトレンドワードを可視化してみた
Elasticsearch+Kibanaでデータ解析
elasticsearchの導入

●python 環境設定

pyenvのインストール、使い方、pythonのバージョン切り替えできない時の対処法

●twitter 環境

twitter doc(ja)
twitter developer