1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Oracle Text 復習・テキスト索引の断片化

1
Last updated at Posted at 2026-08-04

前回に引き続き、Oracle Text の復習です。
今回はテキスト索引の断片化の発生と解消の様子を見ていきます。

環境: Oracle Autonomous AI Database 26ai (Always Free)

テキスト索引を作成している表に対して INSERT や UPDATE があったとき、テキスト索引には新しいデータが追記されるだけで既存データにはマージされません。この状態をテキスト索引の断片化といいます。

断片化が進行すると、テキスト索引のサイズ肥大化に加え、全文検索のパフォーマンスにも悪影響を及ぼす可能性があります。

断片化の状況は、テキスト索引 (トークン表) やテキスト索引レポート (ctx_report.index_stats) から確認可能です。

以下はテキスト索引の断片化が発生する様子です。

SQL> create table haiku(id number, text varchar2(4000));

Table HAIKU created.

SQL>
SQL> insert into haiku values (1,'夏草や 兵どもが 夢の跡');

1 row inserted.

SQL>
SQL> commit;

Commit complete.

SQL>
SQL> create index haiku_idx on haiku(text)
  2  indextype is ctxsys.context
  3* parameters('LEXER MYLEXER1');

Index HAIKU_IDX created.

SQL> --テキスト索引 (トークン表) の確認
SQL> select * from DR$HAIKU_IDX$I;

TOKEN_TEXT       TOKEN_TYPE    TOKEN_FIRST    TOKEN_LAST    TOKEN_COUNT TOKEN_INFO
_____________ _____________ ______________ _____________ ______________ _____________
が夢                        0              1             1              1 008807
ども                        0              1             1              1 008805
の跡                        0              1             1              1 008809
もが                        0              1             1              1 008806
や兵                        0              1             1              1 008803
兵ど                        0              1             1              1 008804
夏草                        0              1             1              1 008801
夢の                        0              1             1              1 008808
草や                        0              1             1              1 008802
跡                         0              1             1              1 00880A

10 rows selected.

SQL> create table output (result CLOB);

Table OUTPUT created.

SQL>
SQL> --テキスト索引レポートの作成
SQL> declare
  2    x clob := null;
  3  begin
  4    ctx_report.index_stats('haiku_idx',x);
  5    insert into output values (x);
  6    commit;
  7    dbms_lob.freetemporary(x);
  8  end;
  9* /

PL/SQL procedure successfully completed.

SQL>
SQL> set pages 50000
SQL> set long 999999999
Warning: This LONG setting may cause Java memory problems.
It is recommended to reduce the setting and/or increase the memory available to Java.
SQL>
SQL>
SQL> --テキスト索引レポートの確認
SQL> select * from output;

RESULT
______________________________________________________________________________
===========================================================================
                    STATISTICS FOR "ADMIN"."HAIKU_IDX"
===========================================================================

indexed documents:                                                      1
allocated docids:                                                       1
$I rows:                                                               10

---------------------------------------------------------------------------
                             TOKEN STATISTICS
---------------------------------------------------------------------------

unique tokens:                                                         10
average $I rows per token:                                           1.00
tokens with most $I rows:
  跡 (0:TEXT)                                                          1
  草や (0:TEXT)                                                       1
  夢の (0:TEXT)                                                       1
  夏草 (0:TEXT)                                                       1
  兵ど (0:TEXT)                                                       1
  や兵 (0:TEXT)                                                       1
  もが (0:TEXT)                                                       1
  の跡 (0:TEXT)                                                       1
  ども (0:TEXT)                                                       1
  が夢 (0:TEXT)                                                       1

average size per token:                                                 3
tokens with largest size:
  跡 (0:TEXT)                                                          3
  草や (0:TEXT)                                                       3
  夢の (0:TEXT)                                                       3
  夏草 (0:TEXT)                                                       3
  兵ど (0:TEXT)                                                       3
  や兵 (0:TEXT)                                                       3
  もが (0:TEXT)                                                       3
  の跡 (0:TEXT)                                                       3
  ども (0:TEXT)                                                       3
  が夢 (0:TEXT)                                                       3

average frequency per token:                                         1.00
most frequent tokens:
  跡 (0:TEXT)                                                          1
  草や (0:TEXT)                                                       1
  夢の (0:TEXT)                                                       1
  夏草 (0:TEXT)                                                       1
  兵ど (0:TEXT)                                                       1
  や兵 (0:TEXT)                                                       1
  もが (0:TEXT)                                                       1
  の跡 (0:TEXT)                                                       1
  ども (0:TEXT)                                                       1
  が夢 (0:TEXT)                                                       1

token statistics by type:
  token type:                                                      0:TEXT
    unique tokens:                                                     10
    total rows:                                                        10
    average rows:                                                    1.00
    total size:                                                        30
    average size:                                                       3
    average frequency:                                               1.00
    most frequent tokens:
      跡                                                               1
      草や                                                            1
      夢の                                                            1
      夏草                                                            1
      兵ど                                                            1
      や兵                                                            1
      もが                                                            1
      の跡                                                            1
      ども                                                            1
      が夢                                                            1


---------------------------------------------------------------------------
                         FRAGMENTATION STATISTICS
---------------------------------------------------------------------------

total size of $I data:                                                 30

$I rows:                                                               10
estimated $I rows if optimal:                                          10
estimated row fragmentation:                                          0 %  ★この時点では断片化は起きていない

garbage docids:                                                         0
estimated garbage size:                                                 0

most fragmented tokens:
  跡 (0:TEXT)                                                        0 %
  草や (0:TEXT)                                                     0 %
  夢の (0:TEXT)                                                     0 %
  夏草 (0:TEXT)                                                     0 %
  兵ど (0:TEXT)                                                     0 %
  や兵 (0:TEXT)                                                     0 %
  もが (0:TEXT)                                                     0 %
  の跡 (0:TEXT)                                                     0 %
  ども (0:TEXT)                                                     0 %
  が夢 (0:TEXT)                                                     0 %

SQL> 
SQL> insert into haiku values (2,'夏草や ベースボールの 人遠く');

1 row inserted.

SQL>
SQL> commit;

Commit complete.

SQL>
SQL> --テキスト索引 (トークン表) の確認
SQL> select * from DR$HAIKU_IDX$I;

TOKEN_TEXT       TOKEN_TYPE    TOKEN_FIRST    TOKEN_LAST    TOKEN_COUNT TOKEN_INFO
_____________ _____________ ______________ _____________ ______________ _____________
が夢                        0              1             1              1 008807
ども                        0              1             1              1 008805
の跡                        0              1             1              1 008809
もが                        0              1             1              1 008806
や兵                        0              1             1              1 008803
兵ど                        0              1             1              1 008804
夏草                        0              1             1              1 008801  ☆
夢の                        0              1             1              1 008808
草や                        0              1             1              1 008802  ☆
跡                         0              1             1              1 00880A
遠く                        0              2             2              1 00880C
草や                        0              2             2              1 008802  ★マージされるべきデータが追記されている
夏草                        0              2             2              1 008801  ★マージされるべきデータが追記されている
人遠                        0              2             2              1 00880B
ール                        0              2             2              1 008808
ース                        0              2             2              1 008805
ルの                        0              2             2              1 008809
ボー                        0              2             2              1 008807
ベー                        0              2             2              1 008804
スボ                        0              2             2              1 008806
やベ                        0              2             2              1 008803
の人                        0              2             2              1 00880A
く                         0              2             2              1 00880D

23 rows selected.

SQL> truncate table output;

Table OUTPUT truncated.

SQL>
SQL> --テキスト索引レポートの作成
SQL> declare
  2    x clob := null;
  3  begin
  4    ctx_report.index_stats('haiku_idx',x);
  5    insert into output values (x);
  6    commit;
  7    dbms_lob.freetemporary(x);
  8  end;
  9* /

PL/SQL procedure successfully completed.

SQL>
SQL> --テキスト索引レポートの確認
SQL> select * from output;

RESULT
______________________________________________________________________________
===========================================================================
                    STATISTICS FOR "ADMIN"."HAIKU_IDX"
===========================================================================

indexed documents:                                                      2
allocated docids:                                                       2
$I rows:                                                               23

---------------------------------------------------------------------------
                             TOKEN STATISTICS
---------------------------------------------------------------------------

unique tokens:                                                         21
average $I rows per token:                                           1.10
tokens with most $I rows:
  草や (0:TEXT)                                                       2
  夏草 (0:TEXT)                                                       2
  遠く (0:TEXT)                                                       1
  跡 (0:TEXT)                                                          1
  夢の (0:TEXT)                                                       1
  兵ど (0:TEXT)                                                       1
  人遠 (0:TEXT)                                                       1
  ール (0:TEXT)                                                       1
  ース (0:TEXT)                                                       1
  ルの (0:TEXT)                                                       1
  ボー (0:TEXT)                                                       1
  ベー (0:TEXT)                                                       1
  スボ (0:TEXT)                                                       1
  や兵 (0:TEXT)                                                       1
  やベ (0:TEXT)                                                       1
  もが (0:TEXT)                                                       1
  の跡 (0:TEXT)                                                       1
  の人 (0:TEXT)                                                       1
  ども (0:TEXT)                                                       1
  く (0:TEXT)                                                          1
  が夢 (0:TEXT)                                                       1

average size per token:                                                 3
tokens with largest size:
  草や (0:TEXT)                                                       6
  夏草 (0:TEXT)                                                       6
  遠く (0:TEXT)                                                       3
  跡 (0:TEXT)                                                          3
  夢の (0:TEXT)                                                       3
  兵ど (0:TEXT)                                                       3
  人遠 (0:TEXT)                                                       3
  ール (0:TEXT)                                                       3
  ース (0:TEXT)                                                       3
  ルの (0:TEXT)                                                       3
  ボー (0:TEXT)                                                       3
  ベー (0:TEXT)                                                       3
  スボ (0:TEXT)                                                       3
  や兵 (0:TEXT)                                                       3
  やベ (0:TEXT)                                                       3
  もが (0:TEXT)                                                       3
  の跡 (0:TEXT)                                                       3
  の人 (0:TEXT)                                                       3
  ども (0:TEXT)                                                       3
  く (0:TEXT)                                                          3
  が夢 (0:TEXT)                                                       3

average frequency per token:                                         1.10
most frequent tokens:
  草や (0:TEXT)                                                       2
  夏草 (0:TEXT)                                                       2
  遠く (0:TEXT)                                                       1
  跡 (0:TEXT)                                                          1
  夢の (0:TEXT)                                                       1
  兵ど (0:TEXT)                                                       1
  人遠 (0:TEXT)                                                       1
  ール (0:TEXT)                                                       1
  ース (0:TEXT)                                                       1
  ルの (0:TEXT)                                                       1
  ボー (0:TEXT)                                                       1
  ベー (0:TEXT)                                                       1
  スボ (0:TEXT)                                                       1
  や兵 (0:TEXT)                                                       1
  やベ (0:TEXT)                                                       1
  もが (0:TEXT)                                                       1
  の跡 (0:TEXT)                                                       1
  の人 (0:TEXT)                                                       1
  ども (0:TEXT)                                                       1
  く (0:TEXT)                                                          1
  が夢 (0:TEXT)                                                       1

token statistics by type:
  token type:                                                      0:TEXT
    unique tokens:                                                     21
    total rows:                                                        23
    average rows:                                                    1.10
    total size:                                                        69
    average size:                                                       3
    average frequency:                                               1.10
    most frequent tokens:
      草や                                                            2
      夏草                                                            2
      遠く                                                            1
      跡                                                               1
      夢の                                                            1
      兵ど                                                            1
      人遠                                                            1
      ール                                                            1
      ース                                                            1
      ルの                                                            1
      ボー                                                            1
      ベー                                                            1
      スボ                                                            1
      や兵                                                            1
      やベ                                                            1
      もが                                                            1
      の跡                                                            1
      の人                                                            1
      ども                                                            1
      く                                                               1
      が夢                                                            1


---------------------------------------------------------------------------
                         FRAGMENTATION STATISTICS
---------------------------------------------------------------------------

total size of $I data:                                                 69

$I rows:                                                               23
estimated $I rows if optimal:                                          21
estimated row fragmentation:                                          9 %  ★断片化が起きている

garbage docids:                                                         0
estimated garbage size:                                                 0

most fragmented tokens:
  草や (0:TEXT)                                                    50 %
  夏草 (0:TEXT)                                                    50 %
  遠く (0:TEXT)                                                     0 %
  跡 (0:TEXT)                                                        0 %
  夢の (0:TEXT)                                                     0 %
  兵ど (0:TEXT)                                                     0 %
  人遠 (0:TEXT)                                                     0 %
  ール (0:TEXT)                                                     0 %
  ース (0:TEXT)                                                     0 %
  ルの (0:TEXT)                                                     0 %
  ボー (0:TEXT)                                                     0 %
  ベー (0:TEXT)                                                     0 %
  スボ (0:TEXT)                                                     0 %
  や兵 (0:TEXT)                                                     0 %
  やベ (0:TEXT)                                                     0 %
  もが (0:TEXT)                                                     0 %
  の跡 (0:TEXT)                                                     0 %
  の人 (0:TEXT)                                                     0 %
  ども (0:TEXT)                                                     0 %
  く (0:TEXT)                                                        0 %
  が夢 (0:TEXT)                                                     0 %

SQL>

テキスト索引の断片化を解消するには、ctx_ddl.optimize_index を実行します。

SQL> --テキスト索引の最適化
SQL> exec ctx_ddl.optimize_index('HAIKU_IDX', 'FAST');

PL/SQL procedure successfully completed.

SQL>
SQL> --テキスト索引 (トークン表) の確認
SQL> select * from DR$HAIKU_IDX$I;

TOKEN_TEXT       TOKEN_TYPE    TOKEN_FIRST    TOKEN_LAST    TOKEN_COUNT TOKEN_INFO
_____________ _____________ ______________ _____________ ______________ _______________
が夢                        0              1             1              1 008807
ども                        0              1             1              1 008805
の跡                        0              1             1              1 008809
もが                        0              1             1              1 008806
や兵                        0              1             1              1 008803
兵ど                        0              1             1              1 008804
夏草                        0              1             2              2 008801018801  ★トークンがマージされる
夢の                        0              1             1              1 008808
草や                        0              1             2              2 008802018802  ★トークンがマージされる
跡                         0              1             1              1 00880A
遠く                        0              2             2              1 00880C
人遠                        0              2             2              1 00880B
ール                        0              2             2              1 008808
ース                        0              2             2              1 008805
ルの                        0              2             2              1 008809
ボー                        0              2             2              1 008807
ベー                        0              2             2              1 008804
スボ                        0              2             2              1 008806
やベ                        0              2             2              1 008803
の人                        0              2             2              1 00880A
く                         0              2             2              1 00880D

21 rows selected.

SQL> truncate table output;

Table OUTPUT truncated.

SQL>
SQL> --テキスト索引レポートの作成
SQL> declare
  2    x clob := null;
  3  begin
  4    ctx_report.index_stats('haiku_idx',x);
  5    insert into output values (x);
  6    commit;
  7    dbms_lob.freetemporary(x);
  8  end;
  9* /

PL/SQL procedure successfully completed.

SQL>
SQL> --テキスト索引レポートの確認
SQL> select * from output;

RESULT
______________________________________________________________________________
===========================================================================
                    STATISTICS FOR "ADMIN"."HAIKU_IDX"
===========================================================================

indexed documents:                                                      2
allocated docids:                                                       2
$I rows:                                                               21

---------------------------------------------------------------------------
                             TOKEN STATISTICS
---------------------------------------------------------------------------

unique tokens:                                                         21
average $I rows per token:                                           1.00
tokens with most $I rows:
  遠く (0:TEXT)                                                       1
  跡 (0:TEXT)                                                          1
  草や (0:TEXT)                                                       1
  夢の (0:TEXT)                                                       1
  夏草 (0:TEXT)                                                       1
  兵ど (0:TEXT)                                                       1
  人遠 (0:TEXT)                                                       1
  ール (0:TEXT)                                                       1
  ース (0:TEXT)                                                       1
  ルの (0:TEXT)                                                       1
  ボー (0:TEXT)                                                       1
  ベー (0:TEXT)                                                       1
  スボ (0:TEXT)                                                       1
  や兵 (0:TEXT)                                                       1
  やベ (0:TEXT)                                                       1
  もが (0:TEXT)                                                       1
  の跡 (0:TEXT)                                                       1
  の人 (0:TEXT)                                                       1
  ども (0:TEXT)                                                       1
  く (0:TEXT)                                                          1
  が夢 (0:TEXT)                                                       1

average size per token:                                                 3
tokens with largest size:
  草や (0:TEXT)                                                       6
  夏草 (0:TEXT)                                                       6
  遠く (0:TEXT)                                                       3
  跡 (0:TEXT)                                                          3
  夢の (0:TEXT)                                                       3
  兵ど (0:TEXT)                                                       3
  人遠 (0:TEXT)                                                       3
  ール (0:TEXT)                                                       3
  ース (0:TEXT)                                                       3
  ルの (0:TEXT)                                                       3
  ボー (0:TEXT)                                                       3
  ベー (0:TEXT)                                                       3
  スボ (0:TEXT)                                                       3
  や兵 (0:TEXT)                                                       3
  やベ (0:TEXT)                                                       3
  もが (0:TEXT)                                                       3
  の跡 (0:TEXT)                                                       3
  の人 (0:TEXT)                                                       3
  ども (0:TEXT)                                                       3
  く (0:TEXT)                                                          3
  が夢 (0:TEXT)                                                       3

average frequency per token:                                         1.10
most frequent tokens:
  草や (0:TEXT)                                                       2
  夏草 (0:TEXT)                                                       2
  遠く (0:TEXT)                                                       1
  跡 (0:TEXT)                                                          1
  夢の (0:TEXT)                                                       1
  兵ど (0:TEXT)                                                       1
  人遠 (0:TEXT)                                                       1
  ール (0:TEXT)                                                       1
  ース (0:TEXT)                                                       1
  ルの (0:TEXT)                                                       1
  ボー (0:TEXT)                                                       1
  ベー (0:TEXT)                                                       1
  スボ (0:TEXT)                                                       1
  や兵 (0:TEXT)                                                       1
  やベ (0:TEXT)                                                       1
  もが (0:TEXT)                                                       1
  の跡 (0:TEXT)                                                       1
  の人 (0:TEXT)                                                       1
  ども (0:TEXT)                                                       1
  く (0:TEXT)                                                          1
  が夢 (0:TEXT)                                                       1

token statistics by type:
  token type:                                                      0:TEXT
    unique tokens:                                                     21
    total rows:                                                        21
    average rows:                                                    1.00
    total size:                                                        69
    average size:                                                       3
    average frequency:                                               1.10
    most frequent tokens:
      草や                                                            2
      夏草                                                            2
      遠く                                                            1
      跡                                                               1
      夢の                                                            1
      兵ど                                                            1
      人遠                                                            1
      ール                                                            1
      ース                                                            1
      ルの                                                            1
      ボー                                                            1
      ベー                                                            1
      スボ                                                            1
      や兵                                                            1
      やベ                                                            1
      もが                                                            1
      の跡                                                            1
      の人                                                            1
      ども                                                            1
      く                                                               1
      が夢                                                            1


---------------------------------------------------------------------------
                         FRAGMENTATION STATISTICS
---------------------------------------------------------------------------

total size of $I data:                                                 69

$I rows:                                                               21
estimated $I rows if optimal:                                          21
estimated row fragmentation:                                          0 %  ★断片化が解消

garbage docids:                                                         0
estimated garbage size:                                                 0

most fragmented tokens:
  遠く (0:TEXT)                                                     0 %
  跡 (0:TEXT)                                                        0 %
  草や (0:TEXT)                                                     0 %
  夢の (0:TEXT)                                                     0 %
  夏草 (0:TEXT)                                                     0 %
  兵ど (0:TEXT)                                                     0 %
  人遠 (0:TEXT)                                                     0 %
  ール (0:TEXT)                                                     0 %
  ース (0:TEXT)                                                     0 %
  ルの (0:TEXT)                                                     0 %
  ボー (0:TEXT)                                                     0 %
  ベー (0:TEXT)                                                     0 %
  スボ (0:TEXT)                                                     0 %
  や兵 (0:TEXT)                                                     0 %
  やベ (0:TEXT)                                                     0 %
  もが (0:TEXT)                                                     0 %
  の跡 (0:TEXT)                                                     0 %
  の人 (0:TEXT)                                                     0 %
  ども (0:TEXT)                                                     0 %
  く (0:TEXT)                                                        0 %
  が夢 (0:TEXT)                                                     0 %

SQL>
1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?