前回に引き続き、Oracle Text の復習です。
今回はテキスト索引の断片化の発生と解消の様子を見ていきます。
環境: Oracle Autonomous AI Database 26ai (Always Free)
テキスト索引を作成している表に対して INSERT や UPDATE があったとき、テキスト索引には新しいデータが追記されるだけで既存データにはマージされません。この状態をテキスト索引の断片化といいます。
断片化が進行すると、テキスト索引のサイズ肥大化に加え、全文検索のパフォーマンスにも悪影響を及ぼす可能性があります。
断片化の状況は、テキスト索引 (トークン表) やテキスト索引レポート (ctx_report.index_stats) から確認可能です。
以下はテキスト索引の断片化が発生する様子です。
SQL> create table haiku(id number, text varchar2(4000));
Table HAIKU created.
SQL>
SQL> insert into haiku values (1,'夏草や 兵どもが 夢の跡');
1 row inserted.
SQL>
SQL> commit;
Commit complete.
SQL>
SQL> create index haiku_idx on haiku(text)
2 indextype is ctxsys.context
3* parameters('LEXER MYLEXER1');
Index HAIKU_IDX created.
SQL> --テキスト索引 (トークン表) の確認
SQL> select * from DR$HAIKU_IDX$I;
TOKEN_TEXT TOKEN_TYPE TOKEN_FIRST TOKEN_LAST TOKEN_COUNT TOKEN_INFO
_____________ _____________ ______________ _____________ ______________ _____________
が夢 0 1 1 1 008807
ども 0 1 1 1 008805
の跡 0 1 1 1 008809
もが 0 1 1 1 008806
や兵 0 1 1 1 008803
兵ど 0 1 1 1 008804
夏草 0 1 1 1 008801
夢の 0 1 1 1 008808
草や 0 1 1 1 008802
跡 0 1 1 1 00880A
10 rows selected.
SQL> create table output (result CLOB);
Table OUTPUT created.
SQL>
SQL> --テキスト索引レポートの作成
SQL> declare
2 x clob := null;
3 begin
4 ctx_report.index_stats('haiku_idx',x);
5 insert into output values (x);
6 commit;
7 dbms_lob.freetemporary(x);
8 end;
9* /
PL/SQL procedure successfully completed.
SQL>
SQL> set pages 50000
SQL> set long 999999999
Warning: This LONG setting may cause Java memory problems.
It is recommended to reduce the setting and/or increase the memory available to Java.
SQL>
SQL>
SQL> --テキスト索引レポートの確認
SQL> select * from output;
RESULT
______________________________________________________________________________
===========================================================================
STATISTICS FOR "ADMIN"."HAIKU_IDX"
===========================================================================
indexed documents: 1
allocated docids: 1
$I rows: 10
---------------------------------------------------------------------------
TOKEN STATISTICS
---------------------------------------------------------------------------
unique tokens: 10
average $I rows per token: 1.00
tokens with most $I rows:
跡 (0:TEXT) 1
草や (0:TEXT) 1
夢の (0:TEXT) 1
夏草 (0:TEXT) 1
兵ど (0:TEXT) 1
や兵 (0:TEXT) 1
もが (0:TEXT) 1
の跡 (0:TEXT) 1
ども (0:TEXT) 1
が夢 (0:TEXT) 1
average size per token: 3
tokens with largest size:
跡 (0:TEXT) 3
草や (0:TEXT) 3
夢の (0:TEXT) 3
夏草 (0:TEXT) 3
兵ど (0:TEXT) 3
や兵 (0:TEXT) 3
もが (0:TEXT) 3
の跡 (0:TEXT) 3
ども (0:TEXT) 3
が夢 (0:TEXT) 3
average frequency per token: 1.00
most frequent tokens:
跡 (0:TEXT) 1
草や (0:TEXT) 1
夢の (0:TEXT) 1
夏草 (0:TEXT) 1
兵ど (0:TEXT) 1
や兵 (0:TEXT) 1
もが (0:TEXT) 1
の跡 (0:TEXT) 1
ども (0:TEXT) 1
が夢 (0:TEXT) 1
token statistics by type:
token type: 0:TEXT
unique tokens: 10
total rows: 10
average rows: 1.00
total size: 30
average size: 3
average frequency: 1.00
most frequent tokens:
跡 1
草や 1
夢の 1
夏草 1
兵ど 1
や兵 1
もが 1
の跡 1
ども 1
が夢 1
---------------------------------------------------------------------------
FRAGMENTATION STATISTICS
---------------------------------------------------------------------------
total size of $I data: 30
$I rows: 10
estimated $I rows if optimal: 10
estimated row fragmentation: 0 % ★この時点では断片化は起きていない
garbage docids: 0
estimated garbage size: 0
most fragmented tokens:
跡 (0:TEXT) 0 %
草や (0:TEXT) 0 %
夢の (0:TEXT) 0 %
夏草 (0:TEXT) 0 %
兵ど (0:TEXT) 0 %
や兵 (0:TEXT) 0 %
もが (0:TEXT) 0 %
の跡 (0:TEXT) 0 %
ども (0:TEXT) 0 %
が夢 (0:TEXT) 0 %
SQL>
SQL> insert into haiku values (2,'夏草や ベースボールの 人遠く');
1 row inserted.
SQL>
SQL> commit;
Commit complete.
SQL>
SQL> --テキスト索引 (トークン表) の確認
SQL> select * from DR$HAIKU_IDX$I;
TOKEN_TEXT TOKEN_TYPE TOKEN_FIRST TOKEN_LAST TOKEN_COUNT TOKEN_INFO
_____________ _____________ ______________ _____________ ______________ _____________
が夢 0 1 1 1 008807
ども 0 1 1 1 008805
の跡 0 1 1 1 008809
もが 0 1 1 1 008806
や兵 0 1 1 1 008803
兵ど 0 1 1 1 008804
夏草 0 1 1 1 008801 ☆
夢の 0 1 1 1 008808
草や 0 1 1 1 008802 ☆
跡 0 1 1 1 00880A
遠く 0 2 2 1 00880C
草や 0 2 2 1 008802 ★マージされるべきデータが追記されている
夏草 0 2 2 1 008801 ★マージされるべきデータが追記されている
人遠 0 2 2 1 00880B
ール 0 2 2 1 008808
ース 0 2 2 1 008805
ルの 0 2 2 1 008809
ボー 0 2 2 1 008807
ベー 0 2 2 1 008804
スボ 0 2 2 1 008806
やベ 0 2 2 1 008803
の人 0 2 2 1 00880A
く 0 2 2 1 00880D
23 rows selected.
SQL> truncate table output;
Table OUTPUT truncated.
SQL>
SQL> --テキスト索引レポートの作成
SQL> declare
2 x clob := null;
3 begin
4 ctx_report.index_stats('haiku_idx',x);
5 insert into output values (x);
6 commit;
7 dbms_lob.freetemporary(x);
8 end;
9* /
PL/SQL procedure successfully completed.
SQL>
SQL> --テキスト索引レポートの確認
SQL> select * from output;
RESULT
______________________________________________________________________________
===========================================================================
STATISTICS FOR "ADMIN"."HAIKU_IDX"
===========================================================================
indexed documents: 2
allocated docids: 2
$I rows: 23
---------------------------------------------------------------------------
TOKEN STATISTICS
---------------------------------------------------------------------------
unique tokens: 21
average $I rows per token: 1.10
tokens with most $I rows:
草や (0:TEXT) 2
夏草 (0:TEXT) 2
遠く (0:TEXT) 1
跡 (0:TEXT) 1
夢の (0:TEXT) 1
兵ど (0:TEXT) 1
人遠 (0:TEXT) 1
ール (0:TEXT) 1
ース (0:TEXT) 1
ルの (0:TEXT) 1
ボー (0:TEXT) 1
ベー (0:TEXT) 1
スボ (0:TEXT) 1
や兵 (0:TEXT) 1
やベ (0:TEXT) 1
もが (0:TEXT) 1
の跡 (0:TEXT) 1
の人 (0:TEXT) 1
ども (0:TEXT) 1
く (0:TEXT) 1
が夢 (0:TEXT) 1
average size per token: 3
tokens with largest size:
草や (0:TEXT) 6
夏草 (0:TEXT) 6
遠く (0:TEXT) 3
跡 (0:TEXT) 3
夢の (0:TEXT) 3
兵ど (0:TEXT) 3
人遠 (0:TEXT) 3
ール (0:TEXT) 3
ース (0:TEXT) 3
ルの (0:TEXT) 3
ボー (0:TEXT) 3
ベー (0:TEXT) 3
スボ (0:TEXT) 3
や兵 (0:TEXT) 3
やベ (0:TEXT) 3
もが (0:TEXT) 3
の跡 (0:TEXT) 3
の人 (0:TEXT) 3
ども (0:TEXT) 3
く (0:TEXT) 3
が夢 (0:TEXT) 3
average frequency per token: 1.10
most frequent tokens:
草や (0:TEXT) 2
夏草 (0:TEXT) 2
遠く (0:TEXT) 1
跡 (0:TEXT) 1
夢の (0:TEXT) 1
兵ど (0:TEXT) 1
人遠 (0:TEXT) 1
ール (0:TEXT) 1
ース (0:TEXT) 1
ルの (0:TEXT) 1
ボー (0:TEXT) 1
ベー (0:TEXT) 1
スボ (0:TEXT) 1
や兵 (0:TEXT) 1
やベ (0:TEXT) 1
もが (0:TEXT) 1
の跡 (0:TEXT) 1
の人 (0:TEXT) 1
ども (0:TEXT) 1
く (0:TEXT) 1
が夢 (0:TEXT) 1
token statistics by type:
token type: 0:TEXT
unique tokens: 21
total rows: 23
average rows: 1.10
total size: 69
average size: 3
average frequency: 1.10
most frequent tokens:
草や 2
夏草 2
遠く 1
跡 1
夢の 1
兵ど 1
人遠 1
ール 1
ース 1
ルの 1
ボー 1
ベー 1
スボ 1
や兵 1
やベ 1
もが 1
の跡 1
の人 1
ども 1
く 1
が夢 1
---------------------------------------------------------------------------
FRAGMENTATION STATISTICS
---------------------------------------------------------------------------
total size of $I data: 69
$I rows: 23
estimated $I rows if optimal: 21
estimated row fragmentation: 9 % ★断片化が起きている
garbage docids: 0
estimated garbage size: 0
most fragmented tokens:
草や (0:TEXT) 50 %
夏草 (0:TEXT) 50 %
遠く (0:TEXT) 0 %
跡 (0:TEXT) 0 %
夢の (0:TEXT) 0 %
兵ど (0:TEXT) 0 %
人遠 (0:TEXT) 0 %
ール (0:TEXT) 0 %
ース (0:TEXT) 0 %
ルの (0:TEXT) 0 %
ボー (0:TEXT) 0 %
ベー (0:TEXT) 0 %
スボ (0:TEXT) 0 %
や兵 (0:TEXT) 0 %
やベ (0:TEXT) 0 %
もが (0:TEXT) 0 %
の跡 (0:TEXT) 0 %
の人 (0:TEXT) 0 %
ども (0:TEXT) 0 %
く (0:TEXT) 0 %
が夢 (0:TEXT) 0 %
SQL>
テキスト索引の断片化を解消するには、ctx_ddl.optimize_index を実行します。
SQL> --テキスト索引の最適化
SQL> exec ctx_ddl.optimize_index('HAIKU_IDX', 'FAST');
PL/SQL procedure successfully completed.
SQL>
SQL> --テキスト索引 (トークン表) の確認
SQL> select * from DR$HAIKU_IDX$I;
TOKEN_TEXT TOKEN_TYPE TOKEN_FIRST TOKEN_LAST TOKEN_COUNT TOKEN_INFO
_____________ _____________ ______________ _____________ ______________ _______________
が夢 0 1 1 1 008807
ども 0 1 1 1 008805
の跡 0 1 1 1 008809
もが 0 1 1 1 008806
や兵 0 1 1 1 008803
兵ど 0 1 1 1 008804
夏草 0 1 2 2 008801018801 ★トークンがマージされる
夢の 0 1 1 1 008808
草や 0 1 2 2 008802018802 ★トークンがマージされる
跡 0 1 1 1 00880A
遠く 0 2 2 1 00880C
人遠 0 2 2 1 00880B
ール 0 2 2 1 008808
ース 0 2 2 1 008805
ルの 0 2 2 1 008809
ボー 0 2 2 1 008807
ベー 0 2 2 1 008804
スボ 0 2 2 1 008806
やベ 0 2 2 1 008803
の人 0 2 2 1 00880A
く 0 2 2 1 00880D
21 rows selected.
SQL> truncate table output;
Table OUTPUT truncated.
SQL>
SQL> --テキスト索引レポートの作成
SQL> declare
2 x clob := null;
3 begin
4 ctx_report.index_stats('haiku_idx',x);
5 insert into output values (x);
6 commit;
7 dbms_lob.freetemporary(x);
8 end;
9* /
PL/SQL procedure successfully completed.
SQL>
SQL> --テキスト索引レポートの確認
SQL> select * from output;
RESULT
______________________________________________________________________________
===========================================================================
STATISTICS FOR "ADMIN"."HAIKU_IDX"
===========================================================================
indexed documents: 2
allocated docids: 2
$I rows: 21
---------------------------------------------------------------------------
TOKEN STATISTICS
---------------------------------------------------------------------------
unique tokens: 21
average $I rows per token: 1.00
tokens with most $I rows:
遠く (0:TEXT) 1
跡 (0:TEXT) 1
草や (0:TEXT) 1
夢の (0:TEXT) 1
夏草 (0:TEXT) 1
兵ど (0:TEXT) 1
人遠 (0:TEXT) 1
ール (0:TEXT) 1
ース (0:TEXT) 1
ルの (0:TEXT) 1
ボー (0:TEXT) 1
ベー (0:TEXT) 1
スボ (0:TEXT) 1
や兵 (0:TEXT) 1
やベ (0:TEXT) 1
もが (0:TEXT) 1
の跡 (0:TEXT) 1
の人 (0:TEXT) 1
ども (0:TEXT) 1
く (0:TEXT) 1
が夢 (0:TEXT) 1
average size per token: 3
tokens with largest size:
草や (0:TEXT) 6
夏草 (0:TEXT) 6
遠く (0:TEXT) 3
跡 (0:TEXT) 3
夢の (0:TEXT) 3
兵ど (0:TEXT) 3
人遠 (0:TEXT) 3
ール (0:TEXT) 3
ース (0:TEXT) 3
ルの (0:TEXT) 3
ボー (0:TEXT) 3
ベー (0:TEXT) 3
スボ (0:TEXT) 3
や兵 (0:TEXT) 3
やベ (0:TEXT) 3
もが (0:TEXT) 3
の跡 (0:TEXT) 3
の人 (0:TEXT) 3
ども (0:TEXT) 3
く (0:TEXT) 3
が夢 (0:TEXT) 3
average frequency per token: 1.10
most frequent tokens:
草や (0:TEXT) 2
夏草 (0:TEXT) 2
遠く (0:TEXT) 1
跡 (0:TEXT) 1
夢の (0:TEXT) 1
兵ど (0:TEXT) 1
人遠 (0:TEXT) 1
ール (0:TEXT) 1
ース (0:TEXT) 1
ルの (0:TEXT) 1
ボー (0:TEXT) 1
ベー (0:TEXT) 1
スボ (0:TEXT) 1
や兵 (0:TEXT) 1
やベ (0:TEXT) 1
もが (0:TEXT) 1
の跡 (0:TEXT) 1
の人 (0:TEXT) 1
ども (0:TEXT) 1
く (0:TEXT) 1
が夢 (0:TEXT) 1
token statistics by type:
token type: 0:TEXT
unique tokens: 21
total rows: 21
average rows: 1.00
total size: 69
average size: 3
average frequency: 1.10
most frequent tokens:
草や 2
夏草 2
遠く 1
跡 1
夢の 1
兵ど 1
人遠 1
ール 1
ース 1
ルの 1
ボー 1
ベー 1
スボ 1
や兵 1
やベ 1
もが 1
の跡 1
の人 1
ども 1
く 1
が夢 1
---------------------------------------------------------------------------
FRAGMENTATION STATISTICS
---------------------------------------------------------------------------
total size of $I data: 69
$I rows: 21
estimated $I rows if optimal: 21
estimated row fragmentation: 0 % ★断片化が解消
garbage docids: 0
estimated garbage size: 0
most fragmented tokens:
遠く (0:TEXT) 0 %
跡 (0:TEXT) 0 %
草や (0:TEXT) 0 %
夢の (0:TEXT) 0 %
夏草 (0:TEXT) 0 %
兵ど (0:TEXT) 0 %
人遠 (0:TEXT) 0 %
ール (0:TEXT) 0 %
ース (0:TEXT) 0 %
ルの (0:TEXT) 0 %
ボー (0:TEXT) 0 %
ベー (0:TEXT) 0 %
スボ (0:TEXT) 0 %
や兵 (0:TEXT) 0 %
やベ (0:TEXT) 0 %
もが (0:TEXT) 0 %
の跡 (0:TEXT) 0 %
の人 (0:TEXT) 0 %
ども (0:TEXT) 0 %
く (0:TEXT) 0 %
が夢 (0:TEXT) 0 %
SQL>