SQLでRAGが組めるようになったとは。しみじみ。

本日パブリックプレビューになったこちらのvector_search関数。

これによって、RAGの構成要素であるベクトルストアにSQLからアクセスできるようになりました。

もともと、SQLからLLMを呼び出す機能はai_query関数として提供されていました。

これらを組み合わせれば、RAGが作れるわけです。試してみます。

準備

ベクトルストア

こちらの手順に従って、ベクトル検索インデックスを作成しておきます。

外部モデルのサービングエンドポイント

ai_query関数で呼び出すLLMのサービングエンドポイントを、こちらの手順に従って作成します。gpt-4o-miniを使います。

SQLでのRAGの構築

文脈の取得

まずは、VECTOR_SEARCHでベクトル検索インデックスを検索して、文脈を構成する文字列を構築します。

SELECT
    "Databricksとは何か" || "という質問に対して" || (SELECT
      body_sub
    FROM
      VECTOR_SEARCH(
        index => "takaakiyayoi_catalog.vector_seach.taka_qiita_vs",
        query => "Databricksとは何か",
        num_results => 1
      )
    ) || "という文脈が得られています。簡潔かつ適切な回答を生成してください" AS context

動いてますね。

回答の生成

得られた文脈と質問に基づいて回答を生成してみます。

SELECT
  ai_query(
    'taka-openai-o4-mini',
    "Databricksとは何か" || "という質問に対して" || (
      SELECT
        body_sub
      FROM
        VECTOR_SEARCH(
          index => "takaakiyayoi_catalog.vector_seach.taka_qiita_vs",
          query => "Databricksとは何か",
          num_results => 1
        )
    ) || "という文脈が得られています。質問と得られた文脈に基づいて簡潔かつ適切な回答を生成してください"
  ) AS response

いい感じですね。

まとめ上げる

これだけでは勿体無いので、ダッシュボードに組み込みます。これで簡易のRAGチャットbotが作れるはずです。

プロンプトを洗練して、パラメーター:queryを埋め込みます。

SELECT
  ai_query(
    'taka-openai-o4-mini',
    "あなたはDatabricksの専門家です。" || :query || "という質問に対して" || (
      SELECT
        body_sub
      FROM
        VECTOR_SEARCH(
          index => "takaakiyayoi_catalog.vector_seach.taka_qiita_vs",
          query => :query,
          num_results => 1
        )
    ) || "という文脈が得られています。質問と得られた文脈に基づいて、簡潔かつ適切な回答を生成してください。文脈が得られない場合には「わからない」と回答してください。"
  ) AS response

こんな感じでダッシュボードを作成します。

完成です！

関係のない質問には「わからない」と返すようになっています。

プロトタイピングでは有用なアプローチになるのではと思いました。AWS東京リージョンでも動きますので、是非試してみてください！

はじめてのDatabricks

はじめてのDatabricks

Databricks無料トライアル

Databricks無料トライアル