資料紹介
HeatWave GenAIはHeatWaveに組み込まれた機能で、自然言語クエリを使用してHeatWave環境と通信できます。大規模言語モデル(LLM)を使用して自然言語通信を可能にし、エンタープライズ固有の独自コンテンツを保存するために使用できる組み込みのベクター・ストアを提供します。
HeatWave Chatは、テキスト生成とベクター検索を拡張して、1 回のセッションでトピックに関する複数のフォローアップの質問をできるようにするチャットボットです。ベクター・ストアによって取り込まれたドキュメントから知識を引き出すこともできます。
この資料では、ベクター・ストア機能を使用し、HeatWave Chatを使用して、ユーザー・ガイドなどの資料を参照して、関連のクエリに応答するAI搭載のヘルプ チャットを作成する方法を説明します。
HeatWave環境の準備
ここでHeatWaveプロビジョンの詳細手順を紹介しません。以下の点をご注意ください。
- HeatWaveのバージョンは「9.0.0 革新」以上である必要があります。
- プロビジョンの後、HeatWaveレイクハウスを有効にします。
- HeatWaveクラスタを有効化する必要があります。
Object Storageへファイルのアップロード
- HeatWave user guide PDF (A4) - 1.7Mbから英語のドキュメントをダウンロードします。
- Oracle Analytics Cloudでのデータのビジュアル化およびレポートの作成から日本語のドキュメントをダウンロードします。
- Object Storageのバケットを作成をします。
- 作成したバケットを選択します。
- ダウンロードしたドキュメントをObject Storageのバケットにアップロードします。
ベクターストアの設定
- データベースに接続します。
- 以下のコマンドで、データベースを作成します。
create database quickstart_db;
use quickstart_db;
- 以下のコマンドを実行して、タスク管理に使用するスキーマを作成します。
select mysql_task_management_ensure_schema();
- 以下のコマンドを実行して、ベクター・テーブルを作成し、ソース・ドキュメントを読み込みます。これにより、指定されたテーブルにベクトル埋め込みをロードするタスクがバックグラウンドで作成されます。
call sys.vector_store_load('oci://<BucketName>@<TencyName>/<FolderName>/<DocumentName>', '{"table_name": “<VectorTableName>"}');
- 以下コマンドを実行して、タスクの進行状況を追跡します。
select id, name, message, progress, status, scheduled_time,estimated_completion_time, estimated_remaining_time, progress_bar
FROM mysql_task_management.task_status
WHERE id=<TaskID>\G;
- 以下のコマンドを実行して、ベクトル埋め込みテーブルにロードされていることを確認します。
select count(*) from <VectorTableName>;
- 使用できるLLMは2つあります。次のいずれかのステートメントを使用して、LLMをロードします。
CALL sys.ML_MODEL_LOAD("mistral-7b-instruct-v1", NULL);
CALL sys.ML_MODEL_LOAD("llama2-7b-v1", NULL);
HeatWave Chatの使用
HeatWave Chatは、SQL APIとグラフィカル・インターフェイスを2つインターフェイス公開します。まず、SQL APIを使用します。
- 以前のチャット履歴と状態をクリアしたい場合は、以下のコマンドを実行して、セッションをリセットします。
set @chat_options=NULL;
- HeatWave チャットを使用して質問します。
call sys.heatwave_chat("What is HeatWave AutoML?");
heatwave_chatメソッドは、デフォルトでLLMを自動的にロードし、利用可能なベクトル・ストアでコンテキスト検索を実行します。出力は次のようになります。
- 追加の質問をします。
call sys. heatwave_chat("How to set it up?");
出力は次のようになります。
- sys.heatwave_chat を使用するとすぐに応答が返されますが、検索条件を変更するために使用できるオプションはありません。
sys.ML_GENERATE メソッドには、使用できるオプションがいくつかあります。例として、生成される max_tokens の数のオプションを提供しました。オプションの詳細については、ここをご参照ください。
set @chat_options=NULL;
set @query=“Oracle Analytics Cloudレポートを作成する手順を日本語で教えて下さい”;
select sys.ML_GENERATE(@query, JSON_OBJECT('max_tokens', 2048));
出力はこのようになります。
- sys.ML_RAG メソッドは、他の 2 つのメソッドよりも多くの情報を提供します。RAG によって生成される出力は、次の 2 つの部分で構成されます。テキスト セクションには、クエリに対する応答として LLM によって生成されたテキストベースのコンテンツが含まれます。 引用セクションには、コンテキストとして参照されたセグメントとドキュメントが表示されます。
CALL sys.ML_RAG(“Oracle Analytics Cloudレポートを作成する手順を日本語で教えて下さい", @output, NULL);
SELECT JSON_PRETTY(@output) \G;
出力はこのようになります。
- 続いて、 MySQL ShellやVisual Studio Codeと統合されたグラフィカル・インターフェイスでHeatWave Chatを使用します。「Open Lakehouse Navigator」をクリックします。
- Object Storageからファイルを選択します。Vector Store Tableの名前を入力します。スキーマとファイルのフォーマットを選択します。Load Taskを開始します。
- ファイルがLakehouseにロードされたことを確認します。ここでLakehose中のファイルをロードあるいは削除できます。
- HeatWave チャットを使用して質問します。右側で、会話の履歴と参考テーブルやドキュメントがリストされます。
- また、Translationで日本語を指定して、日本語の回答をいただけます。
- 生成されたPromptを確認できます。
