Amazon Kendra使いがVertex AI Search and Conversationやってみた #AWS

普段AWSばかりですが、他社の動向も知っておきたいと思って、Vertex AI Search and Conversationを試しました。

先入観としては、Amazon KendraのAzure版だと思って始めました。うまく行けばRAGの情報源にしてKendraと比較がしたいと目論んでおります。
Google Cloudに詳しい方のツッコミお待ちしております（笑）

Kendraについてはここを見るとわかった気になれます。

「Azure AI Searchをやってみた」はこちら

Vertex AI Search and Conversationを作ってみた。

ポチポチします。

コンソールで検索と会話を開く。（日本語はこれが正式名称ですか？）
新しいアプリをクリック
検索を選択
汎用を選択。Enterprise edition featuresとAdvanced LLM featuresはオフにしました。
アプリ名と会社名を入力して、続行
CREATE DATA STOREをクリック
Cloud Storageを選択
フォルダーを選択。この画面でフォルダーを作成することも可能
Document chunkingを有効にし、Include ancestor headings in chunksにチェック
データストア名を入力し、作成をクリック
作成をクリック
しばらくするとドキュメントが登録されます。

Vertex AI Search and Conversationを使ってみた。

プレビューメニューから検索ができます。

自前で検索サイトを作った気分。すてき

LangChainのRetrieverをやってみた。

LangChainのドキュメントを参考に実施します。

まずはこちらを参考にgcloud CLIをインストールします。
Ubuntu環境の場合はこんな感じ。

sudo apt-get update
sudo apt-get install apt-transport-https ca-certificates gnupg curl
curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /usr/share/keyrings/cloud.google.gpg
echo "deb [signed-by=/usr/share/keyrings/cloud.google.gpg] https://packages.cloud.google.com/apt cloud-sdk main" | sudo tee -a /etc/apt/sources.list.d/google-cloud-sdk.list
sudo apt-get update && sudo apt-get install google-cloud-cli

インストールができたら次のコマンドでログインします。

gcloud auth application-default login

Pythonのライブラリーをインストールします。

pip install -U google-cloud-discoveryengine

from langchain_community.retrievers.google_vertex_ai_search import (
    GoogleVertexAISearchRetriever,
)

PROJECT_ID = "*****"  # Set to your Project ID
LOCATION_ID = "global"  # Set to your data store location
SEARCH_ENGINE_ID = "app_*****"  # Set to your search app ID
DATA_STORE_ID = "datastore_*****"  # Set to your data store ID

retriever = GoogleVertexAISearchRetriever(
    project_id=PROJECT_ID,
    location_id=LOCATION_ID,
    data_store_id=DATA_STORE_ID,
    query_expansion_condition=0,
)

query = "DXとはなんですか？"

result = retriever.get_relevant_documents(query)
for doc in result:
    print(doc)

実行するとエラー

FailedPrecondition: 400 Cannot use enterprise edition features (website search, multi-modal search, extractive answers/segments, etc.) in a standard edition search engine. Please follow https://cloud.google.com/generative-ai-app-builder/docs/enterprise-edition#toggle-enterprise to enable Enterprise edition. Data store: datastore_*****

エンタープライズ機能が有効じゃないとLangChainで使えないのでしょうか？
エンタープライズ機能を有効にして再チャレンジ。

それでも同じエラー。。
うまくいかない。。