はじめに
こちらの記事では前回の記事のチュートリアルの続きをやっていきます。前回はwatsonx.governanceを使ったプロンプトテンプレートの評価を実施しました。
今回は開発したプロンプトテンプレートを開発→テスト→検証→運用といったAIライフサイクル全体のトラッキングに利用したり、評価済みのプロンプトテンプレートをアプリ開発者などの社内の他の関係者が使えるようにしていきます。
プロンプトテンプレートのトラッキング
AIユースケース内でプロンプトテンプレートをトラッキングして、開発とテストのプロセスをチームメンバーに共有することができます。
左上のナビゲーションメニューから「プロジェクト」→「すべてのプロジェクトを表示をクリックします。
前の記事で作成した"Getting started with watsonx.governance"選択します。
アセットタブをクリックして、Insurance claim summarizationのプロンプトテンプレート（似た名前が多いので注意！）のオーバーフローメニューから「AIファクトシート...」を選択します。
「AIファクトシート」タブで「ガバナンス」をクリック、「AIユースケースでの追跡」をクリックします。
Insurance claims processing AI use caseを選択して、次へをクリックします。
アプローチはデフォルトのまま、次へをクリックします。
バージョンの割り当ては「実験」を選択します。
「資産の追跡」をクリックします。
正常に開始されたら詳細の表示アイコン（スクリーンショット赤枠）をクリックして、AIユースケースを開きます。
「ライフサイクル」タブをクリックして、プロンプトテンプレートが開発フェーズにあることを確認します。
こういったプロンプトテンプレートはAIライフサイクル全体を移動する際に以下のフェーズを移動します。
開発フェーズ: プロジェクト環境で開発されたAI資産
テストフェーズ: テスト用にスペースへプロモートされた機械学習モデル
検証フェーズ: 検証のためにスペースまたはプロジェクトへデプロイされたAI資産
運用フェーズ: 運用のためにスペースへデプロイされたAI資産
検証用の新規プロジェクトの作成
プロンプトエンジニアはテストデータを使用してプロンプトを評価し、検証エンジニアはプロンプトを検証します。検証エンジニアはプロンプトエンジニアが持っていないデータにアクセスできる可能性があるため、その場合は検証データは別プロジェクトで管理します。
ここからのステップに従って、開発プロジェクトをエクスポートして、それを新しい検証プロジェクトにインポートし、資産をAIライフサイクルの検証フェーズに移動します。
左上のナビゲーションメニューから「プロジェクト」→「すべてのプロジェクトを表示をクリックして、"Getting started with watsonx.governance"選択します。
インポート/エクスポートアイコンからプロジェクトのエクスポートをクリックします。
すべての資産にチェックマークを入れて、エクスポート名は"validation project"として、エクスポートをクリックします。
エクスポートが完了したら「プロジェクトに戻る」をクリックします。
再び、左上のナビゲーションメニューから「プロジェクト」→「すべてのプロジェクトを表示をクリックして、今度は新規プロジェクトをクリックします。
「ローカルファイル」を選択して、参照をクリック、先程エクスポートしたvalidation project.zipを選択し、プロジェクト名を"Validation project"として、「作成」をクリックします。
プロジェクトが作成されたら「新規プロジェクトの表示」をクリックして、前の記事の手順と同じようにWatson Machine Learningをこのプロジェクトに関連付けます。
プロンプトテンプレートの検証
これで前の記事と同様の評価プロセスを使用して、この検証プロジェクトのプロンプトテンプレートを使用する準備ができました。
評価には同じデータセットを使用します。
前の記事の「3.プロンプトテンプレートの評価」と同じプロセスでプロンプトテンプレートを評価します。
評価が完了したら「AIファクトシート」タブをクリックして、開発と検証の2つの測定結果がファクトシートに記載されていることを確認します。
同じテストデータを使用しているので、テスト結果は同じです。（本来は開発と検証で異なるテストデータを使用するのだと思います。）
プロンプトテンプレートのデプロイ
プロンプトテンプレートをデプロイするための準備として、そのプロンプトテンプレートをデプロイメント・スペースにプロモートします。
"Validation Project"のアセット→Insurance claim summarizationプロンプトテンプレートのオーバーフローメニューから「スペースへのプロ…」（スペースへのプロモート）を選択します。
ターゲット・スペースは「新しいデプロイメント・スペースの作成」
デプロイメント・スペース名は"Insurance claims deployment space"という名前にします。
デプロイメント・ステージは実動（本番稼働のこと）、リストから機械学習サービスも選択して、作成をクリックします。
スペースへのプロモート画面に戻ったら、リストから「Insurance claims deployment space」を選択して、「資産のプロモート後にスペースに移動」にチェックを入れて、プロモートをクリックします。
これでデプロイメント・スペース内からプロンプト・テンプレートのオンライン・デプロイメントを作成できるようになりました。ここからデプロイメントを作成していきます。
「新規デプロイメント」をクリックして、デプロイメント名として"Insurance claims summarization deployment
"という名前をつけて、作成をクリックします。
デプロイが完了した"Insurance claims summarization deployment"をクリックします。
「APIリファレンス」タブでは アプリケーションでプロンプトテンプレート・デプロイメントを使用するための情報が表示されています。
「テスト」タブではデプロイメントのテストができます。「生成」をクリックして結果を確認してみます。
ウインドウを閉じて、「AIファクトシート」タブをクリック、下までスクロールして詳細を表示をクリックします。
ファクトシート上部のAIユースケースの詳細を表示します。
「ライフサイクル」タブから、操作フェーズにプロンプトテンプレートがデプロイされていることが確認できます。
さいごに
手順が多くて何をやっているか見失いやすいです。早く日本語の生成結果に対応してほしいですね〜