0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Agentforce テストセンター アップデートまとめ|会話レベルテスト・評価の実践ガイド

0
Posted at

はじめに

2026年4月、Agentforce テストセンター が大幅アップデートされました。

Agentforce Studio への統合・会話レベルテスト・カスタム評価指標・インライン編集・ADLC Skills による CLI 統合と、機能が一気に揃った形です。

「設定 から テストセンター を開いて CSV をアップして……」という旧来の使い方のイメージを持っている方は、いま見直すと別物レベルに進化していることに気づくはずです。

この記事では、2026年4月時点の最新状態を実際の操作手順に沿ってまとめます。

テストセンターとは

テストセンターは、一言でいうと Agentforceエージェントの一括テスト実行環境です。

やることはシンプルです。「ユーザーがこう言ったら、このトピックを選んで、このアクションを実行して、こういう応答をするはずだ」というテストケースを大量に用意して、エージェントに一気に流して合格率を見る。会話プレビューで1件ずつ手動で確認するのではなく、数十〜数百件を並行実行して品質の全体像を把握できます。

2024年11月に発表されて以来、Salesforce は継続的に機能を拡充してきました。2026年4月のアップデートで特に大きく変わったので、「以前のテストセンターの使い方を調べたけどイメージと違う」という人は、後述のStudio統合のところから読み直してもらえると合います。

2026年4月:Agentforce Studio への統合

以前はテストセンターへのアクセスが「設定」画面の配下に分離されていて、エージェントを作る画面と行き来するのが少し面倒でした。

2026年4月から、テストセンターは Agentforce Studio のタブとして統合されました。「エージェントビルダー」「Observability」と並んで「テスト」タブが表示されるようになったので、エージェントを作ったその流れでテストに入れます。設定からの動線も引き続き残っているので、どちらからでもアクセス可能です。

またこのアップデートで実行履歴(Run History)が見られるようになり、「先週と今週でPass率がどう変わったか」といった時系列での品質推移が確認できます。

準備:権限とエディション

テストセンターを使う前に確認しておくことが2点あります。

必要な権限

  • 「AIエージェントの管理」権限(Manage AI Agents)
  • テスト対象のエージェント種別に応じた権限
  • システム管理者プロファイル

権限が足りていないと「新規テスト」ボタンが表示されないか、押してもエラーになります。

対応エディション

Enterprise / Performance / Unlimited / Developer Edition のいずれかが必要で、Lightning Experience のみ対応です。

そして地味に大事な注意点として、必ずSandbox環境でテストしてください。テストを実行すると実際にエージェントが動いて、場合によってはCRMのデータを変更する可能性があります。本番環境でテストを流すのはやめておいた方がいいです。

テストの流れ:ステップごとの操作

ステップ1:テストセンターを開く

設定経由でアクセスする場合

  1. 画面右上の歯車アイコンから「設定」を開く
  2. クイック検索ボックスに「テストセンター」と入力
  3. 「テストセンター」を選択

Agentforce Studio 経由でアクセスする場合(2026年4月〜)

  1. Agentforce Builder でテスト対象のエージェントを開く
  2. 上部タブの「テスト」をクリック

ステップ2:新規テストを作成する

「新規テスト」ボタンをクリックします。

次の画面でテスト名を入力し、テスト対象のエージェントを選択します。
説明欄は任意なので、後で見返したときに分かる内容を書いておくといいです。

入力したら「次へ」をクリック。

ステップ3:テスト条件を設定する

会話履歴やコンテキスト変数を含めるかどうかを設定します。

会話履歴(Conversation History)

2025年11月以降に追加された機能で、CSVに過去の会話履歴をJSON形式で含めることができます。「前のターンで名前を教えてもらった前提で、次のターンをテストしたい」といったケースに使います。最初はオフで問題ないです。

コンテキスト変数

エージェントがCRMデータを参照するように設定している場合、テスト時にも変数に値をセットできます。レコードIDなどを差し込んでテストしたい場合はここで設定します。

設定が終わったら「次へ」。

ステップ4:テストデータを作成する

ここが一番の選択肢です。テストケースの用意方法が3種類あります。

方法A:CSVをアップロードする

「テストケースをアップロード」を選ぶと、テンプレートCSVをダウンロードできます。CSVには以下の列があります。

列名 内容
Utterance ユーザーの発話(テスト入力)
Expected Subagent 期待するSubagent(旧称:Topic)名
Expected Actions 期待するAction名
Expected Response 期待する応答

最大1,000ケースをアップロードできます。自社特有の言い回しや、過去に問題になった発話を登録したいときに向いています。

注意点として、Expectedの列が空白だとすべてFail(不合格)扱いになります。「応答さえ正しければいい」という場合でも、Utteranceだけ書いてExpected Responseを空にすると落ちます。必ず期待値を書くか、評価不要な列は削除して使ってください。

方法B:トピックとアクションからAI生成する

「テストケースを生成」を選ぶと、AIがエージェントのサブエージェント構成とアクション定義を読んで、テストケースを自動生成します。

生成件数(デフォルトは20件、最大1,000件)と、対象にするトピックを指定します。説明を任意で追加できます。

初めてテストセンターを試すときは、この方法が一番楽です。

方法C:ナレッジから生成する

同じ画面でテストケースのソース「ナレッジ」を選ぶと、エージェントが参照しているナレッジ記事の内容を読んで、よくある質問パターンを自動生成します。

ナレッジベースの回答精度を検証したいときに使います。

ステップ5:評価内容を選択する

どの指標で評価するかを選択します。標準では以下の3軸が使えます。

標準評価(Default Evaluations)

指標 意味
Response Evaluation % エージェントの応答が期待した応答と一致しているかを評価する割合
Subagent Evaluation % ユーザーの発話(Utterance)に対して期待したSubagent(旧Topic)が実際に呼び出されたかを評価する割合
Action Evaluation % 期待したActionがSubagentから実際に実行されたかを評価する割合

2026年4月からはカスタム評価指標も追加できます。

応答品質評価(Response Quality Evaluations)

指標 意味
Completeness 応答に必要な情報がすべて含まれているかを評価
Coherence 応答が読みやすく、文法的な誤りがないかを評価
Conciseness 応答が簡潔かつ正確であるかを評価
Latency エージェントが応答を生成するまでの時間(ミリ秒)を測定

自然言語で評価基準を定義して、LLMに採点させるしくみです。たとえば「エージェントの回答の丁寧さを0〜5点で評価して」という基準を作ると、それがテストグリッドの列として追加されます。業種固有の品質基準(「製品名の表記ゆれがないか」など)を評価したい場合に役立ちます。

必要な評価指標を選んで「次へ」。

ステップ6:テストを実行して結果を確認する

設定が完了したら「テストを実行」ボタンをクリックします。

テストは非同期で並行実行されます。大量のケースを流したときは完了まで時間がかかることがあるので、他の作業をしながら待つといいです。

実行が完了すると、各ケースの合否が一覧で表示されます。

初めてテストを流したとき、私の環境ではSubagent Evaluation %が60%台でした。「100%じゃないと本番に出せないのか」と焦ったんですが、実はテストセンターの使い方として100%を目指すのが正解ではないんです。
60%台のケースを掘り下げて「どの発話が落ちているか」を特定し、該当するトピックの指示文を改善して再テスト、という繰り返しが本来の使い方です。

不合格ケースをクリックすると、エージェントが実際にどのSubagentを選んで、どのActionを実行したかが詳細に確認できます。期待値とのズレが分かったら、Agentforce Builder に戻ってトピックの指示を修正します。

評価指標の見方:どこを見て何を直すか

3つの指標はそれぞれ意味が違うので、落ちている指標によって改善のアプローチが変わります。

Subagent Evaluation % が低い場合

エージェントが入力に対してどのトピック(Subagent)を選ぶかを誤っています。トピックの「説明文」が曖昧だったり、似たようなトピックが複数あって判定が揺れていることが多いです。各トピックの説明文に「このトピックはXXのケースに使う。YYのケースには使わない」と、あえて除外条件を明示すると改善するケースが多いです。

Action Evaluation % が低い場合

トピックは正しく選ばれているのに、その中でどのアクションを実行するかが期待値とズレています。アクションの使用条件の指示を見直すタイミングです。

Response Evaluation % が低い場合

応答の中身が期待値と合っていません。ここだけが低い場合は、プロンプトや応答生成の設定を見直す方向になります。

新機能:会話レベルテスト(2026年4月〜)

これまでのテストは基本的に「1発話→1応答」の単発テストでした。実際のユーザーはマルチターン、つまり複数のやり取りを経て目的を達成するので、そのリアルさに欠ける部分がありました。

2026年4月から追加された会話レベルテストでは、ペルソナを指定するとシステムがそのペルソナになりきってエージェントと複数回やり取りする会話全体を自動生成し、「ユーザーが最終的に目的を達成できたか」というtask resolutionという指標でスコアリングします。

選べるペルソナの例:

  • frustrated customer(苛立った顧客)
  • non-native English speaker(英語非ネイティブ話者)
  • distracted user(集中していないユーザー)

「クレームを言いながら問い合わせてくる顧客でもちゃんと解決できるか」「途中で話題が脱線してもゴールに戻ってこれるか」といった、単発テストでは捕まえられない品質の問題を発見するのに向いています。

このペルソナ自動シミュレーションは会話パターンをAIが生成してくれるので、テストケースを人間がゼロから考える量が大幅に減ります。

よくある落とし穴3つ

落とし穴1:Sandboxでもクレジットが消費される

「Sandboxだから課金されない」と思い込んでいる人が多いです。テストセンターでテストを実行すると、Flex Credits、会話クレジット、Einstein リクエストが消費されます。大量のケースを繰り返し流すとクレジットが想定外に減ることがあるので、Digital Walletで使用量をモニタリングしながら使うことをお勧めします。

私も最初、200件のテストを5回連続で流したら翌週に管理者から「クレジットが減っている」と連絡が来ました。テスト1回あたりの消費量を把握した上で計画的に使うようにしましょう。

落とし穴2:Topic / Subagent の用語が文書によって混在している

テストセンターのUI、Trailhead、Salesforce Help、過去の解説記事で「Topic」と「Subagent」が混在しています。これは現在 Salesforce が用語を移行している過渡期のためで、どちらも基本的に同じものを指しています。UIや実行結果画面では Subagent 表記、CSVテンプレートや一部の古い資料では Topic 表記が残っている、という2層構造で理解しておくと混乱しにくいです。

落とし穴3:テストの合格率100%を目指しすぎる

LLMの応答は揺れるので、まったく同じケースでも毎回Pass するとは限りません。テストセンターの正しい使い方は「100%にする」ではなく「不合格ケースの傾向を特定して改善を繰り返す」です。どのSubagentが特に合格率が低いかを見て、その指示文を改善する、という使い方が実態に合っています。

まとめ

Agentforce テストセンターは、本番公開前にエージェントの品質を数値で確認するための実用的なツールです。

特に2026年4月のアップデートで、Agentforce Studio への統合・会話レベルテスト・カスタム評価指標・インライン編集と機能が一気に揃いました。以前は「CSVを毎回ダウンロードして修正してアップし直す」という作業が必要でしたが、いまはグリッド上で直接編集できるのでテスト運用のコストが大幅に下がっています。

まずはAI生成でテストケースを20〜30件作って流してみるところから始めてみてください。Pass率の数字よりも「どのケースが落ちているか」の傾向を掴むことが、エージェント改善の最初の一歩になります。

参考リンク


資格勉強に関する情報を発信しています。よかったらnoteも覗いてみてください。
https://note.com/pacific_creator1

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?