類似検索の仕組み

Apache Solr に蓄えた記事データを使って、ある記事と類似する記事を探すことができる。
仕組みとしてはまず対象とする記事の 特徴語 を抽出し、その特徴語とのマッチ度が高い記事を探している模様。

特徴語とは、その記事に含まれていて、かつ他の記事にはあまり含まれていないワードのこと。
例えば、「横須賀市」「マイクロソフト」「ドラえもん」などの固有名詞は条件を満たしやすく、逆に「て」「に」「を」「は」などの副詞や「私」「車」などの汎用的な名詞などは条件を満たしにくいということになる。

Solrでの検索例

/select?q=id:1&mlt=true&mlt.fl=mlt.mindf=1&mlt.mintf=1

パラメーター名	値
mlt	true とすることで有効化する
mlt.fl	どの項目を元に類似検索をするか、項目名をカンマ区切りで指定する
mlt.mintf	Minimum Term Frequency。元となる記事での出現頻度が指定数以下のワードは無視される
mlt.mindf	Minimum Document Frequency。複数記事上での出現頻度が指定数以下のワードは無視される

q や fq パラメーターでヒットした各記事に対して類似記事を表示してくれる。

{
  "responseHeader":{
    "status":0,
    "QTime":33,
    "params":{
      "q":"id:335676",
      "mlt":"true",
      "mlt.fl":"title_txt_ja",
      "mlt.mindf":"1",
      "mlt.mintf":"1",
      "_":"1577422689083"}},
  "response":{"numFound":1,"start":0,"maxScore":13.465984,"docs":[
      {
        "id":"335676",
        "title_txt_ja":"○○市で○○事件が発生",
        "score":13.465984}]
  },
  "moreLikeThis":{
    "product_details-335676":{"numFound":156617,"start":0,"maxScore":19.945429,"docs":[
        {
          "id":"335219",
          "title_txt_ja":"○○事件の犯人を逮捕",
          "score":12.291839},
        {
          "id":"335218",
          "title_txt_ja":"○○事件の続報",
          "score":12.291838}]}
   }
}

特徴語も抽出したい

mltハンドラー にアクセスすれば特徴語も抽出できる模様。

solrconfig.xml に mltハンドラーが定義されていなければ定義しておく。

<requestHandler name="/mlt" class="solr.MoreLikeThisHandler">
</requestHandler>

/mlt?q=id:1&mlt=true&mlt.fl=mlt.mindf=1&mlt.mintf=1&mlt.interestingTerms=list

パラメーター名	値
mlt.interestingTerms	none: 特徴語を出力しない list: 出力する details: フィールド名やboost値なども出力する

結果

"interestingTerms":[
    "ビーフカレー",
    "熟成"]

Solrに未登録の記事を元に類似検索したい場合は…？

やり方が見つからず今の所、記事をSolrに追加してから検索し、終わったら消すという風にしている。何か方法があれば…。