2026-10-12 訂正:fixed_chunkは文字単位の例です。不正なchunk_sizeとoverlapでloopが進まない問題を入力検証で修正し、separatorベースのCharacterTextSplitterやtoken単位と区別しました。
RAGを組み立てると「ドキュメントをチャンクに分割する」工程が必ず出てくるが、分割サイズを変えるだけで検索精度が大きく変わる。
この記事は、チャンキングが何のためにあるのか、サイズやオーバーラップの設計で何が起きるのかを初心者向けに整理する。
結論:チャンキングは「検索の粒度」を決める設計
| 観点 | 内容 |
|---|---|
| 定義 | 長いドキュメントを、検索・埋め込みしやすい単位(チャンク)に分割する処理 |
| 目的 | ベクトル検索で「質問に関連する部分だけ」を取り出し、LLMのコンテキストに載せる |
| サイズの影響 | 小さすぎると文脈が欠ける/大きすぎるとノイズが混ざる |
| 覚え方 | 本の「章」ではなく、検索エンジン向けの索引単位を設計している |
ポイント:チャンキングは一度決めたら固定ではない。ドキュメントの種類(マニュアル、FAQ、規約)ごとに最適な粒度は変わる。
チャンキングとは何か
チャンキング(chunking)とは、長いテキストを一定のルールで短い断片(チャンク)に分割する処理だ。
RAGパイプラインでは、次の流れの中で使われる。
[元ドキュメント(PDF / Markdown / HTML など)]
↓
[チャンキング] → 数百〜数千トークン単位の断片に分割
↓
[埋め込み] → 各チャンクをベクトル化
↓
[ベクトルDBに保存]
ユーザーの質問が来ると、質問文もベクトル化し、保存済みチャンクの中から類似度が高いものを検索する。
このとき、1チャンクが「どれだけの情報を含むか」が、そのまま検索結果の質に直結する。
なぜ分割サイズが精度に効くのか
ベクトル検索は、チャンク全体を1つのベクトルとして扱う。
チャンクに含まれるテキストが長いほど、複数のトピックが1つのベクトルに混ざる。
| チャンクサイズ | メリット | デメリット |
|---|---|---|
| 小さい(100〜300トークン) | 検索が的を絞りやすい、ノイズが少ない | 前後の文脈が切れやすい、チャンク数が増えてコスト増 |
| 中程度(500〜1000トークン) | 文脈と精度のバランスが取りやすい | ドキュメント種別によっては調整が必要 |
| 大きい(1500トークン以上) | 周辺の文脈を保持しやすい | 無関係な内容が混ざり、類似度スコアが下がる |
具体例:同じ段落を異なるサイズで分割した場合
元テキスト(架空の社内マニュアル断片):
## 退勤時の手順
1. PCをシャットダウンする
2. 机の上を片付ける
3. 入館カードを返却する
## 有給休暇の申請
有給は勤怠システムから申請する。承認者は直属の上長。
- 大きいチャンク(上記全体を1つ):「退勤の手順」で検索しても「有給休暇」の情報も同じベクトルに含まれ、スコアが分散する。
- 小さいチャンク(見出しごとに分割):「退勤」に関する質問は退勤チャンクだけがヒットしやすい。
代表的なチャンキング方式
1. 固定長分割(Fixed-size)
文字数またはトークン数で機械的に切る最もシンプルな方式。
def fixed_chunk(text: str, chunk_size: int = 500, overlap: int = 50) -> list[str]:
if not isinstance(text, str):
raise TypeError('text must be a string')
if type(chunk_size) is not int or chunk_size <= 0:
raise ValueError('chunk_size must be a positive integer')
if type(overlap) is not int or not 0 <= overlap < chunk_size:
raise ValueError('overlap must satisfy 0 <= overlap < chunk_size')
chunks = []
for start in range(0, len(text), chunk_size - overlap):
chunks.append(text[start:start + chunk_size])
if start + chunk_size >= len(text):
break
return chunks
この関数はPythonの文字列indexによる文字数単位です。token数やbyte数・視覚的な文字単位を数えるものではなく、文の途中や結合文字の間で切れることがあります。正の整数chunk_sizeと0 <= overlap < chunk_sizeを検査し、旧例の進まないloopを防ぎます。最後のchunkが末尾へ達したら終了します。
LangChain CharacterTextSplitterはseparatorで分け、指定したlength functionで長さを測る構成です。厳密にchunk_size文字ずつsliceするこの関数と同じ動作ではありません。token単位で分割するなら対象modelのtokenizerと境界処理を別に使います。
2. 再帰的分割(Recursive)
区切り文字の優先順位(段落 → 改行 → 文 → 単語)を使い、できるだけ自然な境界で切る。
# LangChain の RecursiveCharacterTextSplitter の考え方
separators = ["\n\n", "\n", "。", "、", " "]
# 大きい区切りから試し、chunk_size を超えない範囲で分割
Markdown や構造化ドキュメントでは、見出し(##)を境界にする設定も有効だ。
3. セマンティック分割(Semantic)
文や段落の意味的なまとまりで区切る方式。
埋め込みの類似度が急に下がる地点を境界にする、あるいは専用モデルでトピック境界を検出する。
semantic分割が検索・回答品質を必ず改善するとは限りません。固定長や再帰的分割と同じ評価setで比較します。一方で、計算コストと実装の複雑さが増える。
ドキュメント量が多い本番環境では、まず再帰的分割でベースラインを作り、精度不足が出た箇所だけセマンティック分割を検討するのが現実的だ。
オーバーラップ(重複)の役割
隣接するチャンクの末尾と先頭を意図的に重複させる手法をオーバーラップという。
チャンク1: [...........|----overlap---->]
チャンク2: [<----overlap----|...........]
| 設定 | 効果 |
|---|---|
| オーバーラップなし | チャンク数は最小だが、境界の文が欠落しやすい |
| 10〜20% 程度 | 文脈の連続性を保ちつつ、チャンク数の増加を抑えられる |
| 過大なオーバーラップ | ほぼ同じ内容が複数ヒットし、検索結果が冗長になる |
一般的な目安は、チャンクサイズの 10〜20% をオーバーラップにする。
500トークンのチャンクなら、50〜100トークン程度の重複が出発点になる。
設計時に決めるべき4つのパラメータ
| パラメータ | 検討の観点 |
|---|---|
| チャンクサイズ | ドキュメントの平均段落長、質問の粒度 |
| オーバーラップ | 境界での文脈欠落リスク |
| 分割方式 | 構造化(Markdown)か非構造化(PDF OCR)か |
| メタデータ | 元ファイル名、見出し、ページ番号をチャンクに付与するか |
メタデータを付与すると、検索後に「どの文書のどの章か」をLLMに伝えやすくなる。
多くのベクトルDB(Pinecone、Weaviate、pgvector など)はメタデータフィルタに対応している。
実装チェックリスト
- 対象ドキュメントの平均文書長と構造(見出しの有無)を把握する
- まず 500トークン前後・オーバーラップ10% でベースラインを作る
- 代表的な質問10〜20件で検索ヒット率と回答品質を手動評価する
- チャンクサイズを変えたA/B比較(小・中・大の3パターン)を記録する
- 分割方式が文の途中で切っていないかサンプル確認する
- チャンクに見出しやソースファイル名のメタデータを付与する
- ドキュメント更新時に再インデックスが走る仕組みを用意する
失敗パターン
パターン1:チャンクが大きすぎて、無関係な段落が一緒にヒットする
→ 対策:見出し単位または500トークン前後に分割し直す。
パターン2:チャンクが小さすぎて、答えに必要な文脈が欠ける
→ 対策:オーバーラップを増やすか、検索時の top_k を上げて複数チャンクをLLMに渡す。
パターン3:PDFの改ページ位置で機械分割し、表やリストが途中で切れる
→ 対策:PDFパーサー(Unstructured、PyMuPDF など)で構造を保持してから分割する。
パターン4:チャンクサイズを決めたきり、評価せず本番投入する
→ 対策:代表質問セットでリコール(正しいチャンクが上位に来るか)を定期計測する。
パターン5:オーバーラップが大きすぎて、同じ内容が何度も検索結果に出る
→ 対策:オーバーラップを10〜20%に抑え、検索後に重複除去(deduplication)を入れる。
まとめ
- チャンキングは、RAGの検索精度を左右する「粒度の設計」だ。
- 小さすぎると文脈が欠け、大きすぎるとノイズが混ざる。500トークン前後と10%オーバーラップが出発点になる。
- 固定長・再帰的・セマンティックの3方式があり、まずは再帰的分割でベースラインを作り、評価データで調整するのが現実的だ。
次のステップとして、手元のMarkdownファイルを LangChain や LlamaIndex で3パターンのサイズに分割し、同じ質問で検索結果を比較すると体感がつかめる。
今回の検証範囲
修正版の標準Python関数を、空文字・短文・ちょうどの長さ・overlap・日本語・不正size/overlap/型でunit testしました(5 test、うち不正引数9ケース)。LangChainやtokenizer、embedding、RAGの品質比較は未実施です。Azure AI Searchのchunk資料も、適切なsizeと重複は文書・用途で変わると説明します。本文の500token・10〜20%等は出発点の例で、全用途の最適値ではありません。
参考リンク
- LangChain Text Splitters
- LlamaIndex — Node Parser / Chunking
- Pinecone — Chunking Strategies for LLM Applications
- Lewis et al., 2020 — Retrieval-Augmented Generation
この記事を書いた人✏️@YushiYamamoto
ITPRODX.com代表 / AIアーキテクト
Next.js / TypeScript / n8nを活用した自律型アーキテクチャ設計を専門としています。
日々の自動化の検証結果や、ビジネス側の視点(ROI等)に関するより深い考察は、以下の公式サイトおよびnoteで発信しています。
