いよいよ Solr Cloud を構築します．
Solr Cloud を構築するには，Solr はもちろん ZooKeeper も必要です．
これまで Vagrant で Solr を Standalone で構築したり，ZooKeeper を Ensemble で構築してきたのもこのためでした．
Solr Cloud
イメージはこんな感じです．
- ZooKeeper : 3
- Solr node: 4
- shard : 2
- replica : 2
Zookeeper 3 個，Solr node 4 個の計 7 個の VM を構築します．
構成
構成を以下に示します．
D:\vagrant\solrcloud
┣Vagrantfile
┣create_zkensemble.sh
┗create_solrnode.sh
Vagrantfile
Zookeeper 3 個，Solr node 4 個の計 7 個の VM を構築します．
Solr を Cloud モードで起動する際に ZooKeeper の接続先を指定する必要があるので Vagrantfile で接続先文字列を用意するのがポイントです．
# ZooKeeper 数
zk_cnt = 3
# Solr node 数
node_cnt = 4
Vagrant.configure("2") do |config|
config.vm.box = "centos/7"
#--- proxy 設定 ---#
no_proxy_address = "localhost,127.0.0.1"
(1..zk_cnt).each do |i|
no_proxy_address += ",zk#{i},192.168.33.1#{i}"
end
(1..node_cnt).each do |i|
no_proxy_address += ",node#{i},192.168.33.2#{i}"
end
config.proxy.enabled = true
config.proxy.http = "http://user_id:password@proxy_address:proxy_port"
config.proxy.https = "http://user_id:password@proxy_address:proxy_port"
config.proxy.no_proxy = no_proxy_address
#--- /proxy 設定 ---#
#--- ZooKeeper アンサンブル構築 ---#
(1..zk_cnt).each do |i|
config.vm.define "zk#{i}" do | zk |
zk.vm.hostname = "zk#{i}"
zk.vm.network "private_network", ip: "192.168.33.1#{i}"
zk.vm.provision :hosts, :sync_hosts => true
zk.vm.provision :shell, path: "./create_zkensemble.sh", args: "#{i} #{zk_cnt}"
end
end
#--- /ZooKeeper アンサンブル構築 ---#
#--- ZooKeeper アンサンブルの接続先文字列 ---#
zkensemble = ""
(1..zk_cnt).each do |i|
zkensemble += "192.168.33.1#{i}:2181,"
end
zkensemble.slice!(/,$/)
#--- /ZooKeeper アンサンブルの接続先文字列 ---#
#--- Solr Cloud 構築 ---#
(1..node_cnt).each do |i|
config.vm.define "node#{i}" do | node |
node.vm.provider :virtualbox do |vb|
# Solr node だけメモリ増やしてます
vb.customize ["modifyvm", :id, "--memory", "2048"]
vb.customize ["modifyvm", :id, "--cpus", "2"]
end
node.vm.hostname = "node#{i}"
node.vm.network "private_network", ip: "192.168.33.2#{i}"
node.vm.provision :hosts, :sync_hosts => true
node.vm.provision :shell, path: "./create_solrcloud.sh", args: "192.168.33.2#{i} #{zkensemble}"
end
end
#--- /Solr Cloud 構築 ---#
end
create_zkensemble.sh
ZooKeeper Ensemble を構築したときと同じです．
# Java をインストールする
yum install -y java-1.8.0-openjdk
# ZooKeeper を構築する
cd /var/tmp
yum install -y wget
wget http://ftp.jaist.ac.jp/pub/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz
tar xvf zookeeper-3.4.14.tar.gz
cp -ar zookeeper-3.4.14 /opt/
ln -s /opt/zookeeper-3.4.14 /opt/zookeeper
# ZooKeeper 用のユーザを作成する
groupadd zookeeper
useradd -g zookeeper -d /opt/zookeeper -s /sbin/nologin zookeeper
chown -R zookeeper.zookeeper /opt/zookeeper/*
# ZooKeeperの設定ファイルを用意する
cd /opt/zookeeper/conf
cp zoo_sample.cfg zoo.cfg
# dataDir を tmp から var に変更する
mkdir /var/lib/zookeeper
chown zookeeper.zookeeper /var/lib/zookeeper
cd /opt/zookeeper/conf
sed -i -e 's#dataDir=.*$#dataDir=/var/lib/zookeeper#' zoo.cfg
# ZooKeeper アンサンブルの設定を追記する
# $1 : ZooKeeper のノードID
# $2 : ZooKeeper アンサンブルの構成ノード数
echo "# ZooKeeper Ensemble" >> /opt/zookeeper/conf/zoo.cfg
for i in `seq 1 $2`
do
if [ $i = $1 ] ; then
# ノードIDが自分のものと一致する場合は 0.0.0.0 とする．
echo "server.${i}=0.0.0.0:2888:3888" >> /opt/zookeeper/conf/zoo.cfg
else
echo "server.${i}=192.168.33.1${i}:2888:3888" >> /opt/zookeeper/conf/zoo.cfg
fi
done
# dataDir にノードIDが記載された myid ファイルを用意する必要がある
echo $1 >> /var/lib/zookeeper/myid
# ZooKeeper を起動する
cd /opt/zookeeper
bin/zkServer.sh start
# Port を開放する
systemctl enable firewalld.service
systemctl start firewalld.service
firewall-cmd --zone=public --add-port=2181/tcp --add-port=2888/tcp --add-port=3888/tcp --permanent
firewall-cmd --reload
# ZooKeeper の状態を確認する
cd /opt/zookeeper
bin/zkServer.sh status
yum install -y nc
echo ruok | nc localhost 2181
# 終了ステータスが 0 でない場合に Vagrant が異常終了とみなし VM が連続生成されないことがあるので明示する
exit 0
create_solrcloud.sh
Solr を Cloud モードで起動します．
# Java をインストールする
yum install -y java-1.8.0-openjdk
# Solr を構築する
cd /usr/local/src/
yum install -y wget
wget http://ftp.jaist.ac.jp/pub/apache/lucene/solr/8.1.1/solr-8.1.1.tgz
tar xzf solr-8.1.1.tgz
./solr-8.1.1/bin/install_solr_service.sh solr-8.1.1.tgz
# Solr を Cloud モードで起動する
# $1 : Solr node の IPアドレス
# $2 : ZooKeeper アンサンブルの接続先文字列
sudo -u solr /opt/solr/bin/solr stop
sudo -u solr /opt/solr/bin/solr start -cloud -s /var/solr/data -p 8983 -z $2 -h $1
# Port を開放する
systemctl enable firewalld.service
systemctl start firewalld.service
firewall-cmd --zone=public --add-port=8983/tcp --permanent
firewall-cmd --reload
# 終了ステータスが 0 でない場合に Vagrant が異常終了とみなし VM が連続生成されないことがあるので明示する
exit 0
Solr Cloud を構築する
cd D:\vagrant\solrcloud
vagrant up
http://192.168.33.21:8983/solr/#/ にアクセスすると Cloud という項目が追加されていることがわかります．
Cloud をクリックすると node が一覧に表示されます．
4個 node を作成したので4個表示されています．
まだ collection を作成していないので Collections，Replicas は空です．
ZK Status をクリックすると ZooKeeper が一覧に表示されます．
3個 ZooKeeper を作成したので3個でアンサンブルが構成されています．
今回は 192.168.33.12 が leader に選出されたようです．
Graph をクリックすると Solr Cloud の構成が可視化されます．
まだ collection を作成していないので何も表示されません．
collection を作成する
早速 collection を作ります．
vagrant ssh node1 -c "sudo -u solr /opt/solr/bin/solr create_collection -c examplecollection -p 8983 -shards 2 -replicationFactor 2"
Dashboard を見ると collection が追加されていることがわかります．
collection を選択すると shard 2 replication 2 で構成されていることがわかります．
Cloud の Graph を見ると collection の shard に各 node が割り当てられていることがわかります．
インデクシング(文書登録)する
collection にインデクシングをおこないます．
vagrant ssh node1 -c "sudo -u solr /opt/solr/bin/post -c examplecollection -p 8983 /opt/solr/example/exampledocs/*.xml"
検索してみます．
$ curl -X GET "http://192.168.33.21:8983/solr/examplecollection/select?q=*:*&fl=id&sort=id%20asc&wt=json&indent=on" --noproxy 192.168.33.21
{
"responseHeader":{
"zkConnected":true,
"status":0,
"QTime":7,
"params":{
"q":"*:*",
"indent":"on",
"fl":"id",
"sort":"id asc",
"wt":"json"}},
"response":{"numFound":32,"start":0,"docs":[
{
"id":"0579B002"},
{
"id":"100-435805"},
{
"id":"3007WFP"},
{
"id":"6H500F0"},
{
"id":"9885A004"},
{
"id":"EN7800GTX/2DHTV/256M"},
{
"id":"EUR"},
{
"id":"F8V7067-APL-KIT"},
{
"id":"GB18030TEST"},
{
"id":"GBP"}]
}}
32件ヒットしました．
rows を指定していないので id は 10 件のみの表示となっています．
これで構築が完了しました．
shard を指定した検索
まずは shard1 を指定して検索します．
$ curl -X GET "http://192.168.33.21:8983/solr/examplecollection/select?q=*:*&fl=id&shards=shard1&sort=id%20asc&wt=json&indent=on" --noproxy 192.168.33.21
{
"responseHeader":{
"zkConnected":true,
"status":0,
"QTime":4,
"params":{
"q":"*:*",
"shards":"shard1",
"indent":"on",
"fl":"id",
"sort":"id asc",
"wt":"json"}},
"response":{"numFound":14,"start":0,"docs":[
{
"id":"3007WFP"},
{
"id":"EN7800GTX/2DHTV/256M"},
{
"id":"GB18030TEST"},
{
"id":"GBP"},
{
"id":"IW-02"},
{
"id":"MA147LL/A"},
{
"id":"TWINX2048-3200PRO"},
{
"id":"USD"},
{
"id":"VDBDB1A16"},
{
"id":"VS1GB400C3"}]
}}
14件ヒットしました．
次に shard2 を指定して検索します．
$ curl -X GET "http://192.168.33.21:8983/solr/examplecollection/select?q=*:*&fl=id&shards=shard2&sort=id%20asc&wt=json&indent=on" --noproxy 192.168.33.21
{
"responseHeader":{
"zkConnected":true,
"status":0,
"QTime":0,
"params":{
"q":"*:*",
"shards":"shard2",
"indent":"on",
"fl":"id",
"sort":"id asc",
"wt":"json"}},
"response":{"numFound":18,"start":0,"docs":[
{
"id":"0579B002"},
{
"id":"100-435805"},
{
"id":"6H500F0"},
{
"id":"9885A004"},
{
"id":"EUR"},
{
"id":"F8V7067-APL-KIT"},
{
"id":"NOK"},
{
"id":"SOLR1000"},
{
"id":"SP2514N"},
{
"id":"UTF8TEST"}]
}}
18件ヒットしました．
各 shard から異なる結果が得られたことから，文書を登録すると自動で各 shard に文書が登録されることがわかりました．
今度は shard1 と shard2 両方指定して検索します．
$ curl -X GET "http://192.168.33.21:8983/solr/examplecollection/select?q=*:*&fl=id&shards=shard1,shard2&sort=id%20asc&wt=json&indent=on" --noproxy 192.168.33.21
{
"responseHeader":{
"zkConnected":true,
"status":0,
"QTime":17,
"params":{
"q":"*:*",
"shards":"shard1,shard2",
"indent":"on",
"fl":"id",
"sort":"id asc",
"wt":"json"}},
"response":{"numFound":32,"start":0,"docs":[
{
"id":"0579B002"},
{
"id":"100-435805"},
{
"id":"3007WFP"},
{
"id":"6H500F0"},
{
"id":"9885A004"},
{
"id":"EN7800GTX/2DHTV/256M"},
{
"id":"EUR"},
{
"id":"F8V7067-APL-KIT"},
{
"id":"GB18030TEST"},
{
"id":"GBP"}]
}}
shard を指定しない場合と同じ結果になりました．
つまりクエリで shard を全て指定しなくても全ての shard から検索することがわかりました．
まとめ
- collection を作成すると shard に各 node が自動で割り当てられます．
- Solr Cloud の collection に文書を登録すると自動で各 shard に文書が登録されます．
- Solr Cloud の collection を検索する際に shard を指定しなくても全 shard から検索されます．