概要
elasticsearch のインストールから運用のだいぶ手前までのお試しをまとめたメモです．クライアントはpythonクライアントを使います．これがあれば，データの追加や検索をpythonを利用して行えるため，データの加工なども楽になる・・・と思うのですよ．
環境設定
Elasticsearchのインストール
環境が debian だったので，debのパッケージを持ってきてでインストール．
% wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.3.1.deb
% sudo dpkg -i elasticsearch-1.3.1.deb
/etc/init.d/elasticsearch の java を探しに行くディレクトリに，自分の環境の JAVA_HOME の位置を加える (/usr/loca/java を加えました)．
# The first existing directory is used for JAVA_HOME (if JAVA_HOME is not defined in $DEFAULT)
JDK_DIRS="/usr/local/java /usr/lib/jvm/java-7-oracle /usr/lib/jvm/java-7-openjdk /usr/lib/jvm/java-7-openjdk-amd64/ /usr/lib/jvm/java-7-openjdk-armhf /usr/lib/jvm/java-7-openjdk-i386/ /usr/lib/jvm/default-java"
起動
起動
% sudo /etc/init.d/elasticsearch start
確認
http://localhost:9200 にアクセスしてみて次のようなのが帰ってくるのを確認．
ブラウザからアドレスにアクセスして確認するか，コマンドラインから下記のようにアクセスします．
% curl -XGET http://localhost:9200/
応答
{
"status" : 200,
"name" : "White Rabbit",
"version" : {
"number" : "1.3.1",
"build_hash" : "2de6dc5268c32fb49b205233c138d93aaf772015",
"build_timestamp" : "2014-07-28T14:45:15Z",
"build_snapshot" : false,
"lucene_version" : "4.9"
},
"tagline" : "You Know, for Search"
}
plugin を使ってみる
plugin のインストール
なにもないと不便なので定番のelasticsearch-headを入れておきます．これで最低限のことは用足ります．インストールは elasticsearch についている plugin コマンドを叩くだけです．すてき！
http://localhost:9200/_plugin/head にアクセスできれば成功です．
インストール
% /usr/share/elasticsearch/bin/plugin -install mobz/elasticsearch-head
画面はこんな感じ．
python client を使う
公式：elasticsearch-py
ドキュメント:Python Elasticsearch Client
python の環境を用意する
手元の計算機には python 2.6.6 が入ってました．python 使ったことないので，ググったページを参考にしてパッケージ管理の pip と環境を切り替えるための virtualenv を入れておくことにしました．
「いつの間にかpipのインストールが楽になってた件」より引用
curl -kL https://raw.github.com/pypa/pip/master/contrib/get-pip.py | python
pip install virtualenv virtualenvwrapper
vi ~/.bashrc
# 下記の3行を追記
export WORKON_HOME=$HOME/.virtualenvs
export PROJECT_HOME=$HOME/work
source /path/to/your/virtualenvwrapper.sh
python client をインストールして対話的に起動
インストール
インストール
pip install elasticsearch
起動
- ターミナルで日本語通したいので，LANGを設定しつつpythonを対話モードで起動
- elasticsearch を import
- elasticsearch のインスタンスを用意
起動
% LANG=ja_JP.UTF8 python
Python 2.6.6 (r266:84292, Dec 27 2010, 00:02:40)
[GCC 4.4.5] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> from elasticsearch import Elasticsearch
>>> es = Elasticsearch("localhost:9200")
>>> es
<Elasticsearch([{'host': 'localhost', 'port': 9200}])>
インデックスにドキュメントを追加する
API:elasticsearch.Elasticsearch.index
下記のようなデータを追加します．index と doc_type は必須項目です．指定したインデックスが存在しなければ新たにインデックスが作られます．id を指定しない場合は適当に採番してくれます．
- index: fruit (必須項目)
- doc_type: test (必須項目)
- id: 1
- body (必須項目)
- name:apple, color:red
追加
>>> es.index(index="fruit", doc_type="test", id=1, body={"name":"apple", "color":"red"})
{u'_type': u'test', u'_id': u'1', u'created': True, u'_version': 1, u'_index': u'fruit'}
インデックスが作られた様子
追加されたドキュメント
色々操作してみる
変更/追加
同じ id を指定すると上書き．
上書き
>>> es.index(index="fruit", doc_type="test", id=1, body={"name":"apple", "color":"green"})
{u'_type': u'test', u'_id': u'1', u'created': False, u'_version': 2, u'_index': u'fruit'}
id を指定しないと適当に採番される．下記では id=dnMiX8ufSiiZC_c8KwykuQ となっている．
idを指定しない場合
>>> es.index(index="fruit", doc_type="test", body={"name":"りんご", "color":"red"})
{u'_type': u'test', u'_id': u'dnMiX8ufSiiZC_c8KwykuQ', u'created': True, u'_version': 1, u'_index': u'fruit'}
データの取得
前提
fruitというインデックスに次のようなデータをセットした状態です．
ドキュメントタイプは test にセットしてあります．
| id | name | color |
|---|---|---|
| 9qsreGQTTMSIsMzlEe0H0A | りんご | red |
| 3MH8LiCNSkOgZMwx_kNebw | apple | red |
| YXAo8TfrQbeF3JQpW6dakw | banana | yellow |
| mz1wlxRUSSWvCuIIh6k4OQ | orange | orange |
| MBEGluC5S-OzNdGoDYavGg | apple | green |
id が指定できるとき
idで指定，返値はapple,greenを期待
>>> res = es.get(index="fruit", doc_type="_all", id="MBEGluC5S-OzNdGoDYavGg")
>>> print json.dumps(res, indent=4)
{
"_type": "test",
"_source": {
"color": "green",
"name": "apple"
},
"_index": "fruit",
"_version": 1,
"found": true,
"_id": "MBEGluC5S-OzNdGoDYavGg"
}
クエリで指定したいとき
全部持ってくる
>>> res = es.search(index="fruit", body={"query": {"match_all": {}}})
>>> print json.dumps(res, indent=4)
{
"hits": {
"hits": [
{
"_score": 1.0,
"_type": "test",
"_id": "3MH8LiCNSkOgZMwx_kNebw",
"_source": {
"color": "red",
"name": "apple"
},
"_index": "fruit"
},
{
"_score": 1.0,
"_type": "test",
"_id": "mz1wlxRUSSWvCuIIh6k4OQ",
"_source": {
"color": "orange",
"name": "orange"
},
"_index": "fruit"
},
{
"_score": 1.0,
"_type": "test",
"_id": "9qsreGQTTMSIsMzlEe0H0A",
"_source": {
"color": "red",
"name": "\u308a\u3093\u3054"
},
"_index": "fruit"
},
{
"_score": 1.0,
"_type": "test",
"_id": "MBEGluC5S-OzNdGoDYavGg",
"_source": {
"color": "green",
"name": "apple"
},
"_index": "fruit"
},
{
"_score": 1.0,
"_type": "test",
"_id": "YXAo8TfrQbeF3JQpW6dakw",
"_source": {
"color": "yellow",
"name": "banana"
},
"_index": "fruit"
}
],
"total": 5,
"max_score": 1.0
},
"_shards": {
"successful": 5,
"failed": 0,
"total": 5
},
"took": 3,
"timed_out": false
}
条件をつけて検索する
color = red のものを検索してみる．
>>> res = es.search(index="fruit", body={"query": {"match": {"color":"red"}}})
>>> print json.dumps(res, indent=2 , ensure_ascii=False)
{
"hits": {
"hits": [
{
"_score": 0.30685282000000003,
"_type": "test",
"_id": "3MH8LiCNSkOgZMwx_kNebw",
"_source": {
"color": "red",
"name": "apple"
},
"_index": "fruit"
},
{
"_score": 0.30685282000000003,
"_type": "test",
"_id": "9qsreGQTTMSIsMzlEe0H0A",
"_source": {
"color": "red",
"name": "りんご"
},
"_index": "fruit"
}
],
"total": 2,
"max_score": 0.30685282000000003
},
"_shards": {
"successful": 5,
"failed": 0,
"total": 5
},
"took": 2,
"timed_out": false
}
インデックスを削除する
fruit インデックスはきれいさっぱり消えます．
>>> es.indices.delete(index="fruit")
{u'acknowledged': True}