長いチャンクでRAGをやりたいよね？

RAGの精度を上げるのに、チャンク大きさ自体を大きくするというものがありますよね。
それをDifyでもやりたいのです。
ただデフォルトでナレッジのセグメントサイズが１０００なのでできません。
今回はセグメントサイズを大きくする方法を紹介します。

注意
前提としてDify v0.6.12での操作方法です。
それ以前のバージョンや、レガシー版を使っている方は、docker/.envをdocker/docker-compose.yamlに読み替えて実装してください。

最大セグメントサイズ変更方法

まずはdocker/.envのINDEXING_MAX_SEGMENTATION_TOKENS_LENGTHを変更したいセグメント数に変更してください。


# Maximum length of segmentation tokens for indexing
INDEXING_MAX_SEGMENTATION_TOKENS_LENGTH=3000

Difyをローカルまたはセルフホスティングしている方は再起動してください。

Difyのナレッジを開き、設定したセグメントサイズで設定して見ましょう。

確認プレビューをクリックしてもエラーが出ませんね。いい感じにいけました！これでDifyを使った激長チャンクでRAGができますね。

Xをやっているので気になる方はフォローお願いします。
https://x.com/hudebakonosoto