準備

Java 1.8 をインストールしてJAVA_HOMEを設定しておく。

Solr 6.0 を以下からダウンロード。

http://www.apache.org/dyn/closer.lua/lucene/solr/6.0.0
（http://lucene.apache.org/solr/ から Download ボタン）

サジェストされたミラーにいくと3つファイルが。

solr-6.0.0-src.tgz               2016-04-02 05:42   37M  
solr-6.0.0.tgz                   2016-04-02 05:42  131M  
solr-6.0.0.zip                   2016-04-02 05:42  140M

下の2つのどちらでも大丈夫。
解凍されたディレクトリ

・・・/solr-6.0.0

を $SOLR_ROOT と呼ぶ。以後

cd $SOLR_ROOT

されているものとする。

起動と終了

起動してみる

bin/solr start

確認

ブラウザで以下のアドレスが見れれば OK

http://localhost:8983/solr/

終了する

bin/solr stop

サンプル

4つあるサンプルのうちの schemaless を動かしてみる。

bin/solr -e schemaless

このサンプルにテストデータをロードする

bin/post -c gettingstarted docs/

'english' という文字列を検索してみる。

curl 'http://localhost:8983/solr/gettingstarted/select?q=english'

結果のデフォルトは XML、JSON でインデントするには

curl 'http://localhost:8983/solr/gettingstarted/select?q=english&wt=json&indent=true'

例によって Wikipedia をインポートしてみる。（DataImportHandlerを使う）

データはここから

https://dumps.wikimedia.org/jawiki/

Solr を起動

bin/solr start

Core を wikipedia という名前で作成

bin/solr create -c wikipedia

Core のフォルダ $SOLR_ROOT/server/solr/wikipedia が作成される。このディレクトリを SOLR_CORE_ROOT と呼ぶ。

$SOLR_CORE_ROOT/conf/solrconfig.xml を編集する。

vi server/solr/wikipedia/conf/solrconfig.xml #お好きなエディタで

wikipedia-data-config.xml という名前のコンフィギュレーションファイルで DataImportHandler を使うことを指示するために、以下の内容を付け加える。

	<lib dir="../../../dist" regex="solr-dataimporthandler-.*\.jar" />
	<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
		<lst name="defaults">
			<str name="config">wikipedia-data-config.xml</str>
		</lst>
	</requestHandler>

lib dir には SOLR_CORE_ROOT から SOLR_ROOT/dist への相対パスを記述してある。（SOLR_ROOT/distへの絶対パスでも大丈夫）

上で指定した $SOLR_CORE_ROOT/conf/wikipedia-data-config.xml を作成する。

vi server/solr/wikipedia/conf/wikipedia-data-config.xml #お好きなエディタで

内容は以下のとおり。
dataConfig/document/entity:url にダウンロードした Wikipedia のデータを指定する。

	<dataConfig>
		<dataSource type="FileDataSource" encoding="UTF-8" />
		<document>
			<entity name="page"
				processor="XPathEntityProcessor"
				stream="true"
				forEach="/mediawiki/page/"
				url="・・・・・/jawiki-20160501-pages-articles.xml"
				transformer="RegexTransformer,DateFormatTransformer"
			>
				<field column="id"        xpath="/mediawiki/page/id" />
				<field column="title"     xpath="/mediawiki/page/title" />
				<field column="revision"  xpath="/mediawiki/page/revision/id" />
				<field column="user"      xpath="/mediawiki/page/revision/contributor/username" />
				<field column="userId"    xpath="/mediawiki/page/revision/contributor/id" />
				<field column="text"      xpath="/mediawiki/page/revision/text" />
				<field column="timestamp" xpath="/mediawiki/page/revision/timestamp" dateTimeFormat="yyyy-MM-dd'T'hh:mm:ss'Z'" />
				<field column="$skipDoc"  regex="^#REDIRECT .*" replaceWith="true" sourceColName="text"/>
			</entity>
		</document>
	</dataConfig>

スキーマの登録

text という名前のフィールドが日本語だよ、と指示するためにスキーマにあらかじめ 'text' フィールドを'Add Field' しておく。コンソール

http://localhost:8983/solr/

から、wikipedia コアを選んで、Schema タブから Add Field ボタンを押す。term vector にチェックが付いているのは、あとあといじりたいためで、普通に検索するだけだったら必要ない。

同様に、title, revision, user, userId, timestamp のうち必要なものを登録する。

Solr を再起動

bin/solr restart

インポートの実行

コンソール

http://localhost:8983/solr/

から、wikipedia コアを選んで、DataImport タブから Execute ボタンを押す。

インポートが始る・・・と思ったら、ヒープが小さすぎて途中で落ちる。ー＞JVM のメモリを増やす。

bin/solr start -m 4g

で4Gになる。

text + title を登録で、MacPro で 1時間弱

Indexing completed. Added/Updated: 1772362 documents. Deleted 0 documents. (Duration: 55m 40s)
Requests: 0 , Fetched: 2,053,141 615/s, Skipped: 280,779 , Processed: 1,772,362 531/s

おまけ

ソースからコンパイル

tar xf solr-6.0.0-src.tar
cd solr-6.0.0
ant compile
cd solr
ant server
chmod +x bin/solr bin/post

solr ディレクトリに行って、再度 ant server を実行するのが肝。

Similarity のデフォルト

Solr 6.0 からデフォルトの Similarity が BM25Similarity になっている。
以前と同じ Similarity にしたい場合は以下の2つの作業。

solrconfig.xml で luceneMatchVersion を6未満にする。

<luceneMatchVersion>5.5.1</luceneMatchVersion>

schema.xml に以下の内容を追加

<similarity class="org.apache.lucene.search.similarities.ClassicSimilarity"/>

schema.xml がない場合は、managed-schema をコピーすれば大丈夫。
またデフォルトが BM25Similarity になったおかげで、いくつかの FunctionQuery が使えなくなっている。
とりあえず確認したのは、tf, idf

自前のクラスでオーバーライドしたい時の build.gradle

apply plugin: 'java'

repositories {
    mavenCentral()
    jcenter()
}

dependencies {
    compile 'org.apache.lucene:lucene-core:6.0.0'
    compile 'org.apache.solr:solr-core:6.0.0'
    compile 'org.apache.solr:solr-solrj:6.0.0'
    compile 'org.restlet.jee:org.restlet:2.3.6'
}

jar の位置

jar の位置をマニュアルでセットしなくちゃいけない場合。

Solr の jar は $SOLR_ROOT/dist にある

solr-core-6.0.0.jar
solr-solrj-6.0.0.jar
など

Lucene の jar は $SOLR_ROOT/server/solr-webapp/webapp/WEB-INF/lib にあるのを使うか、https://lucene.apache.org からダウンロードする。

lucene-core-6.0.0.jar
lucene-queries-6.0.0.jar
など