概要
python 3.4 から riak 2.0.x を操作します。python クライアントのドキュメントは、http://basho.github.io/riak-python-client/index.html にあります。
準備
riak をインストール
brew コマンドで riak 2.0.4 のインストールが可能です。brew コマンドだと、最新から遅れているようなので、最新にしたい場合は、各自でどうぞ。
% brew install riak
ファイルディスクリプタを変更するために設定をします。これらを実施しないと起動してくれないようです。
/Library/LaunchDaemons/limit.maxfiles.plist
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd">
<plist version="1.0">
<dict>
<key>Label</key>
<string>limit.maxfiles</string>
<key>ProgramArguments</key>
<array>
<string>launchctl</string>
<string>limit</string>
<string>maxfiles</string>
<string>65536</string>
<string>65536</string>
</array>
<key>RunAtLoad</key>
<true/>
<key>ServiceIPC</key>
<false/>
</dict>
</plist>
/Library/LaunchDaemons/limit.maxproc.plist
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE plist PUBLIC "-//Apple/DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd">
<plist version="1.0">
<dict>
<key>Label</key>
<string>limit.maxproc</string>
<key>ProgramArguments</key>
<array>
<string>launchctl</string>
<string>limit</string>
<string>maxproc</string>
<string>2048</string>
<string>2048</string>
</array>
<key>RunAtLoad</key>
<true />
<key>ServiceIPC</key>
<false />
</dict>
</plist>
ここでOSを再起動。
起動後に設定を確認。
% launchctl limit
cpu unlimited unlimited
filesize unlimited unlimited
data unlimited unlimited
stack 8388608 67104768
core 0 unlimited
rss unlimited unlimited
memlock unlimited unlimited
maxproc 2048 2048
maxfiles 65536 65536
riak 起動
pong と表示すればOK。
% riak start
% riak ping
pong
設定を変更
allow_multをtrueにします。
まず起動時に自動生成された設定ファイルの場所を確認します。
$ riak config effective | grep allow_mult
buckets.default.allow_mult = false
上記の出力情報ですと false でしたので true に変更します。
$ sudo echo "buckets.default.allow_mult = true" >> /usr/local/Cellar/riak/2.0.4/libexec/etc/riak.conf
riakを再起動してtrueになっていることを確認します。
$ riak restart
$ riak config effective | grep allow_mult
buckets.default.allow_mult = true
riak クライアントをインストール
公式でもある riak-python-client をインストールします。
% pip install riak
KVS としての riak
簡単な例
% ipython
import riak
client = riak.RiakClient()
bucket = client.bucket('manifestations')
obj = bucket.new('4873113938', data={
'title': '初めてのPython 第3版',
'creator': 'Mark Lutz',
'isbn': '4873113938'
}).store() # -> <riak.riak_object.RiakObject at 0x10a663898>
obj = bucket.new('4797372273', data={
'title': 'たのしいRuby 第4版',
'creator': '高橋 征義',
'isbn': '4797372273'
}).store() # -> <riak.riak_object.RiakObject at 0x10a6b4470>
print(bucket.get('4873113938').data) # -> {'creator': 'Mark Lutz', 'title': '初めてのPython 第3版', 'isbn': '4873113938'}
bucket.get_keys() # -> ['4873113938', '4797372273']
print(bucket.multiget(['4873113938','4873113938'])) # -> [<riak.riak_object.RiakObject object at 0x10a6b45f8>, <riak.riak_object.RiakObject object at 0x10a787a90>]
bucket.delete('4873113938')
print(bucket.get('4873113938').data) # -> None
bucket.get_keys() # -> ['4797372273']
カウンターを利用する
数値の増減を操作できる機能。標準であるのは助かります。
increment したあとに、store() しないといけないのは謎ですが...
$ riak-admin bucket-type create counters '{"props":{"datatype":"counter"}}'
$ riak-admin bucket-type activate counters
$ ipython
import riak
from riak.datatypes import Counter
client = riak.RiakClient()
bucket = client.bucket_type('counters').bucket('manifestations')
counter = Counter(bucket, 'manifestations')
counter.value # -> 0
counter.increment()
counter.store()
counter.value # -> 1
全文検索機能(Yokozuna)を使う
準備
初期状態では、検索機能(search)は off になっているはずですが、一応確認しておきます。offであれば、設定を変更して、riakを再起動します。
$ riak config effective | grep "search ="
search = off
$ sudo sed -e 's/search = off/search = on/' -i.back /usr/local/Cellar/riak/2.0.4/libexec/etc/riak.conf
$ riak restart
ok
$ riak ping
pong
$ riak config effective | grep "search ="
search = on
設定
面倒ですが、設定します。
% wget https://raw.githubusercontent.com/basho/yokozuna/develop/priv/default_schema.xml
% ipython
import riak
client = riak.RiakClient()
f = open('default_schema.xml')
content = f.read()
f.close()
schema_name = '_yz_default'
client.create_search_schema(schema_name, content)
client.create_search_index('manifestation_index','_yz_default')
bucket-typeを作成します。
$ riak-admin bucket-type create manifestation_index '{"props":{"search_index":"manifestation_index"}}'
manifestation_index created
$ riak-admin bucket-type activate manifestation_index
manifestations has been activated
データ登録と検索をやってみます。
$ ipython
import riak
client = riak.RiakClient()
bucket = client.bucket_type('manifestation_index').bucket('books')
book = bucket.new('4621088629', {'title_s': '東洋天文学史', 'isbn_s': '4621088629', 'price_i': 1080, 'creator_s': '中村 士', 'date_of_publication_dts': '2014-10-25T00:00:00Z'})
book.store()
book = bucket.new('4864102538', {'title_s': '宇宙探査機', 'isbn_s': '4864102538', 'price_i': 4320, 'creator_s': 'フィリップ・セゲラ', 'date_of_publication_dts': '2013-08-06T00:00:00Z'})
book.store()
book = bucket.new('4422420046', {'title_s': '世界で一番美しい元素図鑑', 'isbn_s': '4422420046', 'price_i': 4104, 'creator_s': 'セオドア・グレイ', 'date_of_publication_dts': '2010-10-22T00:00:00Z'})
book.store()
book = bucket.new('4087472221', {'title_s': '神々の山嶺〈上〉', 'isbn_s': '4087472221', 'price_i': 788, 'creator_s': '夢枕 獏', 'date_of_publication_dts': '2000-08-01T00:00:00Z'})
book.store()
book = bucket.new('408747223X', {'title_s': '神々の山嶺〈下〉', 'isbn_s': '408747223X', 'price_i': 864, 'creator_s': '夢枕 獏', 'date_of_publication_dts': '2000-08-01T00:00:00Z'})
book.store()
book = bucket.new('4163537406', {'title_s': '敵対水域', 'isbn_s': '4163537406', 'price_i': 119, 'creator_s': 'ピーター ハクソーゼン', 'date_of_publication_dts': '1998-01-01T00:00:00Z'})
book.store()
bucket.get_keys() # -> ['4422420046',
'4163537406',
'4087472221',
'408747223X',
'4621088629',
'4864102538']
results = client.fulltext_search('manifestation_index', 'title_s:神*')
for doc in results['docs']:
bucket = client.bucket_type(doc['_yz_rt']).bucket(doc['_yz_rb'])
b = bucket.get(doc['_yz_rk'])
print(b.data)
# -> {'creator_s': '夢枕 獏', 'title_s': '神々の山嶺〈上〉', 'price_i': 788, 'date_of_publication_dts': '2000-08-01T00:00:00Z', 'isbn_s': '4087472221'}
{'creator_s': '夢枕 獏', 'title_s': '神々の山嶺〈下〉', 'price_i': 864, 'date_of_publication_dts': '2000-08-01T00:00:00Z', 'isbn_s': '408747223X'}
results = client.fulltext_search('manifestation_index', 'price_i:[* TO 1000]')
for doc in results['docs']:
bucket = client.bucket_type(doc['_yz_rt']).bucket(doc['_yz_rb'])
b = bucket.get(doc['_yz_rk'])
print(b.data)
# -> {'creator_s': '夢枕 獏', 'title_s': '神々の山嶺〈上〉', 'price_i': 788, 'date_of_publication_dts': '2000-08-01T00:00:00Z', 'isbn_s': '4087472221'}
{'creator_s': '夢枕 獏', 'title_s': '神々の山嶺〈下〉', 'price_i': 864, 'date_of_publication_dts': '2000-08-01T00:00:00Z', 'isbn_s': '408747223X'}
{'creator_s': 'ピーター ハクソーゼン', 'title_s': '敵対水域', 'price_i': 119, 'date_of_publication_dts': '1998-01-01T00:00:00Z', 'isbn_s': '4163537406'}
最後に
ConflictError エラー
riak.riak_object.RiakObject であるインスタンス変数の siblings プロパティを使うとリストで複数件でてきます。この場合は、delete メソッドで削除してから再登録してみると良いです。
一括削除の方法があれば良いのですが...