RAG(Dify)でのメタデータの取り扱い

メタデータについて

• ナレッジの各ファイルにメタデータを付与できる
• 組み込みメタデータとしては以下のものが付与される（メタデータ機能をONにした場合）
  • document_name(string)
  • uploader(string)
  • upload_date(time)
  • last_update_date(time)
  • source(string)
• 組み込みメタデータ以外に手動でメタデータを付与することもできる

メタデータを使用した検索方法

• メタデータフィルタリング機能を使用することで検索対象ドキュメントをメタデータの内容によって絞り込むことができる
• 各チャンクの検索の前にメタデータにて使用するドキュメントを絞り込むことによって検索精度の向上が期待できる

チャットフローでの使用方法

• 知識探索ノードのメタデータフィルタの項目にてフィルタの設定が可能
  • 無効
  • 自動設定
  • 手動設定

• 対象のメタデータを選択し、固定値または変数にてメタデータフィルタリングが可能(手動設定の場合)

複数のキーワードでメタデータフィルタリングを行いたい場合

• 条件を複数追加して、ANDかORにて条件を接続する

ユーザークエリの内容によって動的にメタデータでフィルタリングしたい場合

• 事前にメタデータにてフィルタリングする内容を決めず、動的にフィルタリングしたい
• その場合はユーザークエリからLLMにてキーワードを抽出し、そのキーワードを用いてメタデータフィルタリングを行うという手法が考えられる
  1. LLMにてユーザークエリからメタデータフィルタリングに使えそうなキーワードを抽出する

     ユーザークエリ：基幹システムにて見積り機能の詳細設計情報を教えてほしい
      ↓
     キーワード：{ keywords:[ "基幹システム", "見積り機能", "詳細設計" ] }
     

  2. キーワードをメタデータフィルタのフィルタ条件として設定する