前回に引き続き、Oracle Text の復習です。
Oracle Text の日本語レクサーについて調べると、JAPANESE_LEXER は検索漏れリスクがあると見かけます。
どういったメカニズムで検索漏れが起きるのか、JAPANESE_VGRAM_LEXER (BIGRAM=TRUE) と比較しながら確認します。
下準備
使うテーブルは 4曲の童謡のタイトルと歌詞が格納された songs2, 3 です。
songs2 のテキスト索引作成には JAPANESE_VGRAM_LEXER (BIGRAM=TRUE) を使い、songs3 のテキスト索引作成には JAPANESE_LEXER を使います。
SQL> select * from songs2 order by id;
ID TITLE LYRICS
_____ _________ _____________________________________________________________
6 あめふり 1番:あめあめ ふれふれ かあさんが じゃのめでおむかい うれしいな ピッチピッチ チャップチャップ ラ ンランラン
2番:かけっこ かけっこ べちょべちょだ おがわをこえれば ほんとだな ピッチピッチ チャップチャップ ラン ランラン
3番:いやいや いやいや えんがわで ぼうしをかぶって いいこだな ピッチピッチ チャップチャップ ランラン ラン
4番:あらあら あのこは ずぶぬれだ やなぎのねかたで ないている ピッチピッチ チャップチャップ ランラン ラン
5番:かあさん ぼくの じゃのめがさ かしてあげましょ あのこにね ピッチピッチ チャップチャップ ランラン ラン
7 てるてる坊主 1番:てるてる坊主 てる坊主 あした天気にしておくれ いつかの夢の空のように 晴れたら金の鈴あげよ
2番:てるてる坊主 てる坊主 あした天気にしておくれ 私の願いを聞いたなら 甘いお酒をたんと飲ましょ
3番:てるてる坊主 てる坊主 あした天気にしておくれ それでも曇って泣いたなら そなたの首をチョンと切るぞ
11 われは海の子 1番:我は海の子 白浪の さわぐいそべの松原に 煙たなびくとまやこそ 我がなつかしき住家なれ
2番:生まれて潮に浴しては 波を子守の歌と聞き 千里寄せくる海の気を 吸いてわらべとなりにけり
3番:高く鼻つくいその香に 不断の花のふきぬきは はやみどりなる松の葉に 海月星影(みづきほしかげ)さや か也
16 浦島太郎 1番:むかしむかし浦島は 助けた亀に連れられて 龍宮城へ来てみれば 絵にもかけない美しさ
2番:乙姫様のごちそうに 鯛やひらめの舞い踊り ただ珍しく面白く 月日のたつのも夢のうち
3番:遊びにあきて気がついて お暇乞(いとまご)いもそこそこに 帰る途中の楽しみは みやげに貰った玉手箱
4番:帰ってみればこはいかに 元いた家も村もなく 路に行きあう人々は 顔も知らない者ばかり
5番:心細さに蓋(ふた)とれば あけて悔しき玉手箱 中からぱっと白煙 たちまち太郎はおじいさん
SQL> select * from songs3 order by id;
ID TITLE LYRICS
_____ _________ _____________________________________________________________
6 あめふり 1番:あめあめ ふれふれ かあさんが じゃのめでおむかい うれしいな ピッチピッチ チャップチャップ ラ ンランラン
2番:かけっこ かけっこ べちょべちょだ おがわをこえれば ほんとだな ピッチピッチ チャップチャップ ラン ランラン
3番:いやいや いやいや えんがわで ぼうしをかぶって いいこだな ピッチピッチ チャップチャップ ランラン ラン
4番:あらあら あのこは ずぶぬれだ やなぎのねかたで ないている ピッチピッチ チャップチャップ ランラン ラン
5番:かあさん ぼくの じゃのめがさ かしてあげましょ あのこにね ピッチピッチ チャップチャップ ランラン ラン
7 てるてる坊主 1番:てるてる坊主 てる坊主 あした天気にしておくれ いつかの夢の空のように 晴れたら金の鈴あげよ
2番:てるてる坊主 てる坊主 あした天気にしておくれ 私の願いを聞いたなら 甘いお酒をたんと飲ましょ
3番:てるてる坊主 てる坊主 あした天気にしておくれ それでも曇って泣いたなら そなたの首をチョンと切るぞ
11 われは海の子 1番:我は海の子 白浪の さわぐいそべの松原に 煙たなびくとまやこそ 我がなつかしき住家なれ
2番:生まれて潮に浴しては 波を子守の歌と聞き 千里寄せくる海の気を 吸いてわらべとなりにけり
3番:高く鼻つくいその香に 不断の花のふきぬきは はやみどりなる松の葉に 海月星影(みづきほしかげ)さや か也
16 浦島太郎 1番:むかしむかし浦島は 助けた亀に連れられて 龍宮城へ来てみれば 絵にもかけない美しさ
2番:乙姫様のごちそうに 鯛やひらめの舞い踊り ただ珍しく面白く 月日のたつのも夢のうち
3番:遊びにあきて気がついて お暇乞(いとまご)いもそこそこに 帰る途中の楽しみは みやげに貰った玉手箱
4番:帰ってみればこはいかに 元いた家も村もなく 路に行きあう人々は 顔も知らない者ばかり
5番:心細さに蓋(ふた)とれば あけて悔しき玉手箱 中からぱっと白煙 たちまち太郎はおじいさん
SQL>
SQL> exec ctx_ddl.create_preference('MYLEXERJ','JAPANESE_LEXER');
PL/SQL procedure successfully completed.
SQL> exec ctx_ddl.create_preference('MYLEXERJV','JAPANESE_VGRAM_LEXER');
PL/SQL procedure successfully completed.
SQL> exec ctx_ddl.set_attribute('MYLEXERJV', 'BIGRAM', 'TRUE');
PL/SQL procedure successfully completed.
SQL>
SQL>
SQL> create index songs2_idx on songs2(lyrics)
2 indextype is ctxsys.context
3* parameters('LEXER MYLEXERJV');
Index SONGS2_IDX created.
SQL> create index songs3_idx on songs3(lyrics)
2 indextype is ctxsys.context
3* parameters('LEXER MYLEXERJ');
Index SONGS3_IDX created.
SQL>
検索漏れを体験
「かし」というキーワードで両テーブルに対して全文検索すると、結果に差があります。
(JAPANEXE_LEXER を使ってテキスト索引を作成した songs3 に対する検索結果が少ない)
SQL> select id, title from songs2 where contains(lyrics,'かし');
ID TITLE
_____ _________
16 浦島太郎
6 あめふり
11 われは海の子
SQL> select id, title from songs3 where contains(lyrics,'かし');
ID TITLE
_____ ________
6 あめふり
SQL>
JAPANESE_VGRAM_LEXER
JAPANESE_VGRAM_LEXER (BIGRAM=TRUE) を使った songs2 のテキスト索引 (トークン表) を参照してみます。
JAPANESE_VGRAM_LEXER (BIGRAM=TRUE) はテキストを (基本的に) 2文字ずつのトークンに切り分けます。
(「日本総合研究所」であれば「日本」「本総」「総合」「合研」「研究」「究所」「所」と切り分けます)
「かし」に該当するのは★をマークしたエントリで、TOKEN_COUNT の合計が 3 となり、全文検索の結果と整合します。
SQL> r
1* select * from dr$songs2_idx$i order by token_text;
TOKEN_TEXT TOKEN_TYPE TOKEN_FIRST TOKEN_LAST TOKEN_COUNT TOKEN_INFO
_____________ _____________ ______________ _____________ ______________ _____________________________________
1 0 1 1 1 008801
1 0 2 4 3 008801018801018801
2 0 1 1 1 008829
2 0 2 4 3 00883201882D01882A
3 0 1 1 1 008851
3 0 2 4 3 008863018858018853
4 0 1 1 1 00887F
4 0 2 2 1 00898112
5 0 1 1 1 00898128
5 0 2 2 1 00898142
々は 0 1 1 1 0089811C
あう 0 1 1 1 00898119
あき 0 1 1 1 008856
あけ 0 1 1 1 00898134
あげ 0 2 3 2 0089815401882A
あさ 0 2 2 1 00910C8139
あし 0 3 3 1 00980D2C2B
あの 0 2 2 1 0091811841
あめ 0 2 2 1 00900302
あら 0 2 2 1 0091811402
(snip)
おが 0 2 2 1 008843
おく 0 3 3 1 0098152C2B
おじ 0 1 1 1 0089814C
おむ 0 2 2 1 008815
お暇 0 1 1 1 00885E
お酒 0 3 3 1 00884F
かあ 0 2 2 1 00910B8139
かい 0 2 2 1 008817
かけ 0 1 1 1 008822
かけ 0 2 2 1 00903404
かげ 0 4 4 1 00887D
かし ★ 0 1 1 1 00900403
かし ★ 0 2 4 2 00898151028823
かた 0 2 2 1 00898126
かに 0 1 1 1 0089810A
かの 0 3 3 1 00881A
かぶ 0 2 2 1 008875
から 0 1 1 1 0089813E
かり 0 1 1 1 00898126
か也 0 4 4 1 00898101
がさ 0 2 2 1 0089814F
がじ 0 2 2 1 00880F
がつ 0 1 1 1 00885A
がな 0 4 4 1 008820
がわ 0 2 2 1 0090442B
(snip)
龍宮 0 1 1 1 008816
517 rows selected.
JAPANESE_LEXER
JAPANESE_LEXER を使った songs3 のテキスト索引 (トークン表) を参照してみます。
JAPANESE_LEXER はレキシコンと呼ばれる単語辞書に基づいてテキストをトークンに切り分けます。
(「日本総合研究所」であれば「日本」「総合」「研究」「所」と切り分けます)
ID=11 の「かし」は「なつかし」でエントリされ、ID=16 の「かし」は「むかし」でエントリされています。(☆マーク)
この結果、「かし」に該当するのは★をマークしたエントリのみ (TOKEN_COUNT=1) となり、songs2 の結果と差が生まれました。
SQL> select * from dr$songs3_idx$i order by token_text;
TOKEN_TEXT TOKEN_TYPE TOKEN_FIRST TOKEN_LAST TOKEN_COUNT TOKEN_INFO
_____________ _____________ ______________ _____________ ______________ ___________________________________
1 0 2 4 3 008801018801018801
1 0 1 1 1 008801
2 0 2 4 3 008820018821018820
2 0 1 1 1 00881B
3 0 2 4 3 00883B01884001883F
3 0 1 1 1 008839
4 0 2 2 1 008852
4 0 1 1 1 008859
5 0 2 2 1 008875
5 0 1 1 1 008878
(snip)
かあ 0 2 2 1 00900B6C
かけ 0 1 1 1 008817
かけっこ 0 2 2 1 00902201
かげ 0 4 4 1 008865
かし ★ 0 2 2 1 00898101
かた 0 2 2 1 008866
かぶっ 0 2 2 1 008845
から 0 1 1 1 0089810A
がさ 0 2 2 1 00887F
がじ 0 2 2 1 00880E
がわ 0 2 2 1 00902A16
(snip)
な 0 2 2 1 008817
ない 0 1 1 1 0090195C
ない 0 2 2 1 008869
なぎ 0 2 2 1 008862
なく 0 1 1 1 008869
なた 0 3 3 1 00885A
なつかし ☆ 0 4 4 1 00881B
なびく 0 4 4 1 008814
なら 0 3 3 1 00903720
なり 0 4 4 1 00883A
なる 0 4 4 1 008856
なれ 0 4 4 1 00881E
(snip)
むかい 0 2 2 1 008814
むかし ☆ 0 1 1 1 00900301
(snip)
龍 0 1 1 1 00880D
334 rows selected.
SQL>
様々なユースケースに漏れなく対応するには JAPANESE_VGRAM_LEXER (BIGRAM=TRUE) を使うのがベターですが、そのトークン分割方式ゆえにテキスト索引のサイズが大きくなりやすく断片化も生じやすいというトレードオフがあります。
JAPANESE_VGRAM_LEXER を使う場合には、テキスト索引のサイズや断片化の監視、解消の仕組みまで検討し運用に盛り込むようにしましょう。