こんにちは！今回も勉強がてら色々作っていこうのお時間が参りました
今回はVertex AI Searchでございます
ついでに機械学習周りの知識の書き溜めにもしていこうかと
画策しておりますので長いと思いますが
ぜひご一読いただけますと幸いです！
では早速Vertex AI Serachとは？というところから行きましょう
Vertex AI Searchとは？
簡単に言うと、「社内版(自分用)の賢いGoogle検索」を
構築することができるサービスのことです
詳しくは以下の公式ページから...という感じです
https://cloud.google.com/enterprise-search?hl=ja#how-it-works
ではこれを読む上で欲しい基礎知識をいくつか紹介します
セマンティック検索とRAG
セマンティック検索
セマンティック検索は検索エンジンが単純なキーワードの
一致検索だけでなく、ユーザーの意図やクエリの意味を理解して
関連性が高い情報を提供するための技術です
セマンティック検索ではより高度な自然言語処理や人工知能技術が
利用されて、あいまいな表現でもクエリの文脈や意味に基づいて
関連性を判断することができます。
従来のキーワードベースの検索では、検索クエリと文書内のキーワードの
一致度合いが重視されていました。
セマンティック検索の特徴
- 意味の理解
キーワードの単純な一致だけでなく、文脈や文の意味を理解する
ユーザーが意図した情報をより正確に把握することができる - 関連性の高い結果
関連性の高い情報を提供するため、より適切な検索結果を表示できる
関連するトピックや意味的に類似した情報も考慮される - 構造化データの利用
構造化データやオントロジーを活用することがある
これによって、データの意味的な関連性や階層構造を考慮して検索が行わる - 自然言語処理と機械学習の応用
自然言語処理(NLP：Natural Language Processing)や機械学習の技術が
活用され、テキストの意味解析や文脈理解、関連性の推定が行われる
RAG(Retrieval-Augmented Generation)
大規模言語モデル(LLM：Large Language Models)によるテキスト生成に
外部情報の検索を組み合わせることで、回答精度を向上させる技術のこと
RAGについての参考資料
RAGについてここで説明するには余白が少なすぎるので
参考資料を置いておきます
https://cloud.google.com/use-cases/retrieval-augmented-generation?hl=ja
https://www.nri.com/jp/knowledge/glossary/rag.html
https://www.softbank.jp/business/content/blog/202408/what-is-rag
グラウンディング
特定の知識や情報源に接続することで、言語モデルの回答や生成内容を
裏付ける・紐づけるようなプロセスを指します
これによってAIがより人間らしく文章を解釈することが可能になります
まあこのあたりの説明があれば公式のページの意味がほぼ理解できると思います
じゃあ、早速使っていきましょうか！
今回の成果物
NBAの選手名鑑みたいなものを作ってみたいなと思います
じゃあ早速作成に入っていきます！
検索アプリを作っていこう
Google CloudにログインしてVertex AI Searchを開きます
「カスタム検索」というのがあるのでそれの「作成」をクリックします
アプリ名やら会社名やらを入力していきます
アプリのロケーションは一旦、globalでやっていきます
次にデータストアを作成します
「データストアを作成」から「ウェブサイトのコンテンツ」を選択
追加するサイトにURLを貼り付けて終わりです
複数のURLを貼り付けるときは1行で1URLにしてください
(URLを1つ貼り付けたら改行して次のURLを貼り付けてください)
うまくできるとこんな感じでできる！
データストアとアプリを連携させまして以下の画像のようになったらOK！
ここは学習フェーズになるので多少時間がかかるかもしれません！
学習しているのが終わったのが分かったら次に行きます！
ここまで来たらほぼ終わったようなものです！
今回はレブロンとハーデンとウェンバンヤマの情報を入れているので
それに関する質問をしてみます！
うーん...出てこない...
回答を返してくれないですね...
どうやらデータストアに問題がある模様...
色々調べてみましたがデータストアを再構築するしかないような...
もうちょっと調べてみて続きを投稿します！
今回はここまで！！
また次の記事でお会いしましょう！！