長いチャンクでRAGをやりたいよね？
RAGの精度を上げるのに、チャンク大きさ自体を大きくするというものがありますよね。
それをDifyでもやりたいのです。
ただデフォルトでナレッジのセグメントサイズが１０００なのでできません。
今回はセグメントサイズを大きくする方法を紹介します。
注意
前提としてDify v0.6.12での操作方法です。
それ以前のバージョンや、レガシー版を使っている方は、docker/.envをdocker/docker-compose.yamlに読み替えて実装してください。
最大セグメントサイズ変更方法
まずはdocker/.envのINDEXING_MAX_SEGMENTATION_TOKENS_LENGTHを変更したいセグメント数に変更してください。
# Maximum length of segmentation tokens for indexing
INDEXING_MAX_SEGMENTATION_TOKENS_LENGTH=3000
Difyをローカルまたはセルフホスティングしている方は再起動してください。
Difyのナレッジを開き、設定したセグメントサイズで設定して見ましょう。
確認プレビューをクリックしてもエラーが出ませんね。いい感じにいけました！これでDifyを使った激長チャンクでRAGができますね。
最後に
Xをやっているので気になる方はフォローお願いします。
https://x.com/hudebakonosoto