もっとgroongaを知ってもらおう!ということで週刊groongaをはじめました。毎週木曜にgroongaやmroonga、rroongaのトピックを投稿予定です。
いよいよ、gihyo.jpさんでgroongaの隔週更新連載が始まりました!!
第3回の記事も公開されたので、一読をおすすめします。
- 「第1回 全文検索エンジンgroongaを紹介します！」
- 「第2回 groongaをRuby On Railsでも使ってみた ～chikamap.comの事例から」
- 「第3回 すべてのMySQLユーザに高速な全文検索機能を！ - mroongaの紹介」
連載は始まりましたが、利用事例をどんどん紹介していきたいです。(利用事例のストックが尽きたら終了してしまいます。)
groongaやmroonga、rroongaを実際に使っていて利用事例記事を書いてもいいよ、という人をまだまだ募集しています。
詳細はgroonga普及のための協力のお願いを参照してください。
はじめに
オープンソースのカラムストア機能付き全文検索エンジンgroongaを公開しています。
最新のバージョンは2013年4月29日にリリースした3.0.3です。
今回は、groongaに追加された(正確にはgroonga-normalizer-mysqlに追加された) NormalizerMySQLUnicodeCIExceptKanaCIKanaWithVoicedSoundMark について紹介します。
NormalizerMySQLUnicodeCIExceptKanaCIKanaWithVoicedSoundMark とは
NormalizerMySQLUnicodeCIExceptKanaCIKanaWithVoicedSoundMark とはgroongaで使えるノーマライザーのうちの1つです。
groongaにはプラグインの仕組みがあるので、後からノーマライザーを追加することができます。
以前、groongaでMySQL互換のノーマライザーを使うにはという記事を書きました。そのときは NormalizerMySQLGeneralCI と NormalizerMySQLUnicodeCI だけだったので、さらにもう1つノーマライザーが追加されたことになります。
groongaにノーマライザーを追加するには
まずは、groongaをインストールしてください。
インストール手順は各種ディストリビューション向けにドキュメントがあります。
追加のノーマライザーは groonga-normalizer-mysql というパッケージが用意されています。
例えば、Debian系であれば以下のようにしてインストールできます。
sudo apt-get install groonga-normalizer-mysql
また、パッケージのインストールが終わったら、追加のノーマライザーで記載されているように、ノーマライザーを事前に登録します。
登録するにはgroongaコマンドをコマンドラインから起動した後に、以下のようにregisterコマンドを実行します。
% groonga
> register normalizers/mysql
[[0,1368067202.26793,0.0129163265228271],true]
ノーマライザーを試すには
ノーマライザーのインストールが終わったら実際に試してみましょう。
groongaコマンドをコマンドラインから起動した状態であれば、 normalize コマンドでノーマライザーの挙動を確認することができます。
例えば、MySQL互換のノーマライザーに、NormalizerMySQLUnicodeCI があります。
このノーマライザーはMySQLでいうところの utf8_unicode_ci に相当します。
いくつか試してみましょう。
normalize NormalizerMySQLUnicodeCI "ブラック"
normalize NormalizerMySQLUnicodeCI "ふらつく"
normalize NormalizerMySQLUnicodeCI "バルス"
normalize NormalizerMySQLUnicodeCI "パルス"
この結果は以下のようになります。
[[0,1368069281.9754,8.82148742675781e-06],{"normalized":"ふらつく","types":[]}]
[[0,1368069281.97542,7.62939453125e-06],{"normalized":"ふらつく","types":[]}]
[[0,1368069281.97544,9.05990600585938e-06],{"normalized":"はるす","types":[]}]
[[0,1368069281.97545,7.62939453125e-06],{"normalized":"はるす","types":[]}]
「ブラック」と「ふらつく」、「バルス」と「パルス」で同じ結果となっていることがわかります。
ということは、全文検索したときにこれらは同一視されてしまうということです。
「ブラック」で検索しているのに、「ふらつく」がヒットしてしまったり、「パルス」で検索しているのに「バルス」がヒットしてしまうのでは困りものです。
そこで追加されたのが、 NormalizerMySQLUnicodeCIExceptKanaCIKanaWithVoicedSoundMark というわけです。
このノーマライザーを使うと、濁音・半濁音・「ぁ」「ぃ」「ぅ」「ぇ」「ぉ」「っ」などは区別しつつ、カタカナとひらがなは同一視することができるようになります。
先程のサンプルを NormalizerMySQLUnicodeCIExceptKanaCIKanaWithVoicedSoundMark で再度試してみましょう。
normalize NormalizerMySQLUnicodeCIExceptKanaCIKanaWithVoicedSoundMark "ブラック"
normalize NormalizerMySQLUnicodeCIExceptKanaCIKanaWithVoicedSoundMark "ふらつく"
normalize NormalizerMySQLUnicodeCIExceptKanaCIKanaWithVoicedSoundMark "バルス"
normalize NormalizerMySQLUnicodeCIExceptKanaCIKanaWithVoicedSoundMark "パルス"
この結果は以下のようになります。
[[0,1368069396.23875,1.33514404296875e-05],{"normalized":"ぶらっく","types":[]}]
[[0,1368069396.23877,1.04904174804688e-05],{"normalized":"ふらつく","types":[]}]
[[0,1368069396.23879,9.29832458496094e-06],{"normalized":"ばるす","types":[]}]
[[0,1368069396.2388,1.19209289550781e-05],{"normalized":"ぱるす","types":[]}]
今度は「ブラック」と「ふらつく」、「バルス」と「パルス」を区別できていることがわかります。
まとめ
今回はgroongaに追加された NormalizerMySQLUnicodeCIExceptKanaCIKanaWithVoicedSoundMark について紹介しました。
groongaに興味を持ったなら、まずはインストールして試してみてください。
groongaの基本的な動作を知るためのチュートリアルもあります。インストールしたら試してみてください。