■ はじめに
■ Agenda
■ 今回のゴール
- ● 第4回で新しく作るものと再利用するもの
- ● 各Objectが属するデータレイヤー
- ● Object間の関係
- ● Select AI Profileは「検索経路」を定義する
- ● Profileを1つにまとめない理由
- ● V_DOCUMENT_VECTOR_CHUNKSはどのProfileで使うのか
- ● 第4回終了時の完成形
■ 今回の重要な設計ポイント
- ● 標準のSELECT AI NARRATEはSQL結果かVector検索結果のどちらかを使用
- ● Data Lake、RDBMS、Vector StoreのJOIN自体はOracle SQLで実行できる
■ 今回の構成
■ 使用するリソース
■ 事前準備
- ● 第2回の文書インベントリ
- ● 第3回のVector Store
- ● 第3回のRAG Profileを確認
■ 第2回で作成したLogical Entityを確認
■ OCI Data CatalogとAutonomous AI Databaseを同期
- ● Resource Principal用Dynamic GroupとIAM Policyを確認
- ● DCAT_SYNC Roleを確認
- ● Data Catalog接続を確認
  - ・ Resource Principalを確認
  - ・ DBMS_DCATの引数定義を確認
  - ・ Data Catalog用CredentialをConnection IDへ設定
  - ・ Object Storage用CredentialをConnection IDへ設定
  - ・ OCI Data Catalog接続を登録
  - ・ ORA-20012: Connection identifier ... already existsが表示された場合
  - ・接続結果を確認
- ● Data Catalogを同期
- ● 同期されたLogical Entityを確認
■ Data LakeのExternal Tableを確認
- ● DCAT Schemaを確認
- ● External Tableを確認
- ● External Tableの列を確認
- ● 文書インベントリのURIとObject名を確認
- ● RAG_USERへREAD権限とCREATE VIEW権限を付与
■ Data Lake参照用Viewを作成
■ ADBのRDBMS表を作成
- ● 文書ガバナンス表を作成
- ● サンプルデータを登録
■ Data Lake外部表とADB内部表をJOIN
- ● Lakehouse統合Viewを作成
- ● JOIN結果を確認
■ Select AI向けにTableとColumnの意味を追加
■ Vector StoreとJOIN
- ● Vector TableのATTRIBUTES確認
  - ・ ATTRIBUTESへ格納される情報
  - ・ custom_uriはどこから来るのか
  - ・ Data Catalogのofficial_urlが自動コピーされたわけではない
  - ・ ATTRIBUTESのJSONをそのまま確認
  - ・ Propertyを列として確認
  - ・どのJSON Propertyが存在するかを確認
- ● Vector TableのObject名を確認
- ● 相対Object名の重複を確認
- ● Data Lake、RDBMS、Vector Storeの統合Viewを作成
- ● 文書ごとのチャンク数を確認
- ● Vector StoreとのJOIN漏れを確認
- ● 3レイヤーを1つのSQLで確認
■ Lakehouse検索用Select AI Profileを作成
- ● 実行ユーザーを確認
- ● Profile属性JSONを事前検証
- ● 同名Profileを削除
- ● 最小構成でProfileを作成
- ● Profileと基本Attributeを確認
- ● オプションAttributeを追加
- ● 最終的なAttributeを確認
- ● 追加したオプションAttributeの役割
■ Select AIでLakehouseを検索
- ● 構造化検索1：承認済み文書の生成SQLを確認
- ● 構造化検索2：承認済み文書をSelect AIで取得
  - ・直前にSQL用Profileを設定
  - ・ SQLを実行
- ● 構造化検索3：SQL結果を自然言語で説明
  - ・直前にSQL用Profileを設定
  - ・ NARRATEを実行
- ● 構造化検索4：レビュー中またはAI利用不可の文書を確認
■ Database Actionsから実行する場合
- ● SHOWSQL相当
- ● NARRATE相当
■ Select AI with RAGへ切り替える
- ● RAG検索の直前にRAG Profileを設定
- ● 選択した文書の本文へ質問
- ● Database ActionsからRAGを実行
- ● RAG検索後にSQL用Profileへ戻す
■ 第4回で実現できた検索フロー
■ なぜ1つのProfileへすべて登録しないのか
■ 第4回で構築したLakehouse
■ 運用上の考慮点
- ● Data Catalog同期Schemaを直接変更しない
- ● Select AIへ公開するObjectを限定
- ● NARRATEで外部AI Providerへ送られるデータを確認
- ● 大規模なExternal TableではLake Cacheを検討
■ トラブルシューティング
- ● PLS-00684: invalid data type for the JSON return value
- ● ORA-20046: Profile attributes are not in valid JSON format
- ● ORA-01031: insufficient privilegesでViewを作成できない
- ● ORA-20012: Connection identifier ... already exists
- ● Select AIでレビュー中の文書が0件になる
- ● PLS-00306：SET_DATA_CATALOG_CREDENTIALを呼び出せない
- ● ORA-20000：Data catalog credential not set
- ● ORA-00904: "DCAT_CON_ID": invalid identifier
- ● DCAT$...Schemaが作成されない
- ● ORA-00942: table or view does not exist
- ● Vector StoreとのJOIN結果が0件
- ● object_uriに<your-namespace>またはoci://が残る
- ● Database ActionsでSELECT AIがエラーになる
- ● 構造化データの質問でVector Tableが検索される
- ● RAGが意図しない文書を参照する
■ リソースを削除
- ● SQL用Profileを削除
- ● Vector統合Viewを削除
- ● Lakehouse統合Viewを削除
- ● Data Lake参照Viewを削除
- ● RDBMS表を削除
■ まとめ
■ 次回以降
■ 解説
■ おまけ
■ 参考資料
■ 参考資料詳細
- ● OCI Data Catalog／Data Lake
- ● Resource Principal／Object Storage
- ● Select AI／NL2SQL／AI Profile
- ● Vector Store／Select AI with RAG
- ● Object StorageのCustom Source URL
- ● 次回以降の発展