はじめに
こんにちは、フジマロです
最近、LLMが外部サービスに直接アクセスする方法としてMCPやFunctionCallingなどの手法が増えてきましたが、企業でAIを使うには自社で用意したデータベースに、AIからアクセスさせる仕組みはいまだ必要とされています。
そこで今回はLLMと関係の深いRAGやベクトルデータについてご紹介します
この記事ではAIについて実際の画面やイメージ図を元に紹介するので、これまで単語で理解していたこともイメージしやすいのではないでしょうか
Agenda
1. RAGとは
2. RAGを使用したイメージ
3. ベクトル検索とは
4. Indexing（インデクシング）とは
5. Azureでファイルをベクトルデータとして格納する
6. iPaaSから「ベクトル変換の実行命令」を出す
7. Azureでベクトル変換されたデータを確認する
8. Azure AI Agentからベクトル検索で回答を得る
1. RAGとは
RAG（Retrieval-Augmented Generation：検索拡張生成）は、大規模言語モデル（LLM）が持つ知識に、外部データベースなどの情報を「検索」して組み合わせ、「生成」する技術です。独自の社内文書や最新情報に基づいた正確な回答を生成し、AIの誤回答（ハルシネーション）を抑制できるため、企業のAI活用で重要視されています
2. RAGを使用したイメージ
Azureが提供しているポータル画面で実際にAIに質問してRAGに格納されているデータを元に回答して貰います
3. ベクトル検索とは
ベクトル検索は、テキストや画像などのデータを多次元ベクトルに変換し、これを用いて意味的類似性に基づいた検索を行います。
情報のベクトル化（数値変換）
AIは 単語・文章を数値のベクトル（座標） に変換します。
-
例えば、「犬」「猫」「ライオン」などは「動物」という共通点があるため、
ベクトル空間上で「近い位置」に配置される。 -
一方で、「犬」と「パソコン」は関連性が低いため、
ベクトル空間では「遠い位置」に配置される。
✅ 「似ている情報は近く、異なる情報は遠い」 これがLLMの情報検索の基本原理です！
ベクトル変換（Vectorization/Vector Transform）とは、主にテキストや画像、ラスタ画像（ピクセル）などのデータを、コンピュータが処理しやすい「数値の配列（ベクトル）」や「座標・数式（ベクトルデータ）」に変換する技術です。
4. Indexing（インデクシング）とは
文書をチャンク分割し、Embeddingモデルでベクトル化後、ベクトルDB（Pinecone、pgvectorなど）に保存します。この準備段階が事前に行われ、検索を高速化します。
5. Azureでファイルをベクトルデータとして格納する
ここからは具体的にAzureを使い Indexing（インデクシング） をします
実際に検索に用いられるベクトルデータが保存される流れをご紹介します
国土交通省が出している「サンプルデータ出展一覧表」を使用します
ファイルを格納するためのBlobStorageをご用意しました
6. iPaaSから「ベクトル変換の実行命令」を出す
ここでは視覚的にわかりやすいHULFT SquareというiPaaSを使ってご紹介します
BlobStorageにファイルを格納するところからベクトル変換の実行命令を出す処理までをAPIで実施します
HULFT Squareからはこのステップで稼働させます
➀ ファイルをアップロード
➁ Indexer実行 （ベクトル変換の実行命令）
➂ Indexer状態確認（ベクトル実行命令の正常確認）
Azure AI Search用語
-
インデックス（Index） とは
検索対象データを格納するためのスキーマ付きコンテナです。
このインデックスに対してクエリを投げることで、キーワード検索やベクター検索、ハイブリッド検索が実行されます。 -
インデクサー（Indexer） とは
外部データソース（Azure SQL、Cosmos DB、Blob Storage、Data Lake Storage など）からデータをクロールして読み取り、インデックスに投入する自動取り込みジョブです。
7. Azureでベクトル変換されたデータを確認する
実際に作成されたベクトルデータを確認します
Azure AI Search 上で Index(インデックス) と呼ばれる領域にベクトルデータが格納されているのが確認出来ます
Azure AI Searchの画面
現物は自然言語が数字で格納されているので人が見てもわかりにくいですが、AIから見ると検索しやすいデータとして格納されています
8. Azure AI Agentからベクトル検索で回答を得る
Azure AI Agentから質問をするとAzure AI Searchに格納されたベクトルデータから数値の近いものを検索し回答が生成されます
これが冒頭でもお見せしたRAGを用いてAIが回答生成する仕組みです
質問をすると裏側でベクトル値を元にデータを検索し回答を生成します
最後に
いかがでしたでしょうか
ここまで読んで頂きありがとうございます
いままでRAGを聞いたことあるけどイメージつきにくかったことも、具体的にイメージがつきやすかったのではないでしょうか
RAGの説明は私より丁寧に教えて頂いてる記事が世の中に沢山ありますのでもっと気になった方は他もご参考ください
この記事の内容がみなさんの参考になれば「いいね」をおして頂けると嬉しいです。
ここまで読んでいただきありがとうございました。それでは、また！