Railsのsunspotで日本語関連設定いろいろ

環境

• solr v4.2.0
• sunspot 2.1.0
• sunspot_rails 2.1.0
• sunspot_solr 2.1.0

設定

solr/conf/schema.xml

    <fieldType name="text" class="solr.TextField" omitNorms="false">
      <analyzer type="query">
        <tokenizer class="solr.JapaneseTokenizerFactory" mode="search" userDictionary="lang/userdict_ja.txt"/>
        <filter class="solr.JapaneseBaseFormFilterFactory"/>
        <filter class="solr.JapanesePartOfSpeechStopFilterFactory" tags="lang/stoptags_ja.txt" enablePositionIncrements="true" />
        <filter class="solr.StopFilterFactory" ignoreCase="true" words="lang/stopwords_ja.txt" enablePositionIncrements="true" />
        <filter class="solr.CJKWidthFilterFactory"/>
        <filter class="solr.SynonymFilterFactory" synonyms="synonyms_q.txt" ignoreCase="true" expand="true" />
        <filter class="solr.JapaneseKatakanaStemFilterFactory" minimumLength="4"/>
        <filter class="solr.LowerCaseFilterFactory"/>
      </analyzer>
      <analyzer type="index">
        <tokenizer class="solr.JapaneseTokenizerFactory" mode="search" userDictionary="lang/userdict_ja.txt"/>
        <filter class="solr.JapaneseBaseFormFilterFactory"/>
        <filter class="solr.JapanesePartOfSpeechStopFilterFactory" tags="lang/stoptags_ja.txt" enablePositionIncrements="true" />
        <filter class="solr.StopFilterFactory" ignoreCase="true" words="lang/stopwords_ja.txt" enablePositionIncrements="true" />
        <filter class="solr.CJKWidthFilterFactory"/>
        <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true" />
        <filter class="solr.JapaneseKatakanaStemFilterFactory" minimumLength="4"/>
        <filter class="solr.LowerCaseFilterFactory"/>
      </analyzer>
    </fieldType>

queryとindex

検索時とインデックス作成時で設定を分ける

<analyzer type="query">
</analyzer>
<analyzer type="index">
</analyzer>

solr.JapaneseTokenizerFactory

• Kuromojiを使った形態素解析
• userDictionaryはユーザー辞書を使いたい場合に設定

solr.JapaneseBaseFormFilterFactory

• 動詞などを基本形に変換する

solr.JapanesePartOfSpeechStopFilterFactory

• 接続詞とか副詞とか必要なさそうなのを除外
• 除外する内容はtagsで指定したtxtファイルに

solr.StopFilterFactory

• 「する」「から」「なら」「のみ」とか必要ないものインデックスから除外
• 除外する内容はtagsで指定したtxtファイルに

solr.CJKWidthFilterFactory

• 全角のローマ字を半角にしたり半角カナを全角にしたり

solr.SynonymFilterFactory

• 同義語の設定。タマゴと検索したら卵もたまごもタマゴも玉子も検索できるように
• 内容はsynonymsで指定したtxtファイルに

solr.JapaneseKatakanaStemFilterFactory

• カタカナのみの文字列の最後の長音（ー）を除去
• minimumLengthは文字数。4なら４文字以上のカタカナ

solr.LowerCaseFilterFactory

-アルファベットを小文字