Agentforceテストセンターは、信頼できるエージェントを簡単に導入できるよう、ノーコードテストツールを搭載しています。テストは適切に構成されたサンドボックス内で実施され、本番環境からテスト環境を分離します。また、エージェントのアップデートや追加アクションの実装に合わせて、テストを随時追加していくことも可能です。つまり、ビジネスの変化や成長に合わせて、エージェントは継続的に機能し続けるということです。
サンドボックスは、エージェントテストを可能にするために、Data Cloud および Agentforce にアクセスできるようになっています。
Agentforce エージェントのトラブルシューティング、検証、保守に使用されるテスト方法には、手動テストと自動テストの 2 つがあります。
- 料金
テストを手動または自動で実行すると、お客様がエージェントを使用する場合と同様にリクエストとクレジットが消費されます。これは、サンドボックス環境で実行する場合でも同様です。テスト自体にもコストがかかりますが、テストを行わない場合のコストははるかに高くなる可能性があります。テストではEinsteinリクエストが消費され、場合によってはData Cloudクレジットも消費されます。詳細については、Einsteinの使用量とレート制限をご覧ください。
- 制限
現在、10 時間の時間枠内で最大 10 件のテスト ジョブを同時に実行でき、テストごとに最大 1000 件のテスト ケースを作成できます。
Set Up Testing Criteria
何もしないで検証ボタンをクリックする
Einstein Setup is not enabled.
- testing_template.csv ファイル
| 発話 Utterance | 予想されるトピック Expected Topic | 期待されるアクション Expected Actions | 予想される応答 Expected Response |
|---|---|---|---|
| Summarize account Acme | OOTBSingleRecordSummary | ['IdentifyRecordByName', 'SummarizeRecord'] | summary of Account details are shown |
| Summarize account Global Media | OOTBSingleRecordSummary | ['IdentifyRecordByName', 'SummarizeRecord'] | summary of Account details are shown |
| List contact names associated with Acme account | GeneralCRM | ['IdentifyRecordByName', 'QueryRecords'] | contacts available name available with Acme are listed |
| Summarize account salesforce.com | OOTBSingleRecordSummary | ['IdentifyRecordByName', 'SummarizeRecord'] | summary of Account details are shown |
| What is priority of case number 00001001 | GeneralCRM | ['IdentifyRecordByName','GetRecordDetails'] | Priority of provided case number is shown |
| show me details on all the activities of account Acme | GeneralCRM | ['IdentifyRecordByName','GetActivitiesTimeline'] | details of account associated activities shown |
| Summarize the open cases and Activities of acme from sep to nov 2024 | GeneralCRM | ['IdentifyRecordByName','QueryRecords','GetActivitiesTimeline'] | summary of open |
トピックはAPI名であり、トピックのラベルではないことに注意してください。発話とは、エージェントが受け取れる質問や問い合わせのことです。エージェントは複数のトピックを持つことができるため、想定トピックとは、発話によって実行されるトピックを指します。
次に、そのトピックから期待されるアクションが単一のアクションではないかどうかを確認します。レスポンスの生成には、1つ以上のアクションが使用される場合があります。この場合、期待されるアクションは括弧で囲まれたリストに設定され[]、各アクションは一重引用符とカンマで区切られます‘’。このテストケースのアクションは「IdentifyRecordByName」と「SummarizeRecord」です。リスト内のアクションはAPI名であり、アクションのラベルではないことに注意してください。
独自のテスト基準を作成する際は、肯定的および否定的な結果の発話、適切なトピック、アクション、応答を必ず追加してください。また、必須の列は「発話」と少なくとも他の1つの列のみです。値が空の場合は不合格とみなされます。
失敗したけど... チェレンジは合格だった。
結果のCSVを落としてみる
アウトカムテストの説明
- The BOT RESPONSE does not provide the requested summary of account details and instead indicates that there are no matching records. This fails to address the user's QUERY effectively, as the user is looking for a summary, not a verification request.BOTのレスポンスは、要求されたアカウント情報の概要を提供しておらず、一致するレコードがないことを示しています。これは、ユーザーが求めているのは認証リクエストではなく概要であるため、ユーザーのクエリに効果的に対応できていません。
- The BOT RESPONSE does not provide the requested summary of account details for 'Global Media' and instead indicates that no records were found, which does not align with the EXPECTED RESPONSE. It also prompts the user for verification or additional details, which is unnecessary since the bot should retrieve information from the CRM database. Therefore, it fails to meet the requirements.
ボットのレスポンスは、「Global Media」のアカウント詳細情報について要求された概要を提供しておらず、レコードが見つからないという内容を示しています。これは期待されるレスポンスと一致していません。また、ユーザーに確認や追加情報の入力を求めていますが、ボットはCRMデータベースから情報を取得する必要があるため、これは不要です。したがって、要件を満たしていません - The BOT RESPONSE does not fulfill the user's request to list contact names associated with the Acme account, as it states that no results were found instead of providing the expected contact names. Therefore, it fails to achieve the goal of the EXPECTED RESPONSE.
BOTのレスポンスは、Acmeアカウントに関連付けられた連絡先名の一覧を表示するというユーザーのリクエストを満たしていません。期待される連絡先名ではなく、結果が見つからないという結果が返されるためです。したがって、期待されるレスポンスの目的を達成できません。 - The BOT RESPONSE does not provide the requested summary of account details and instead incorrectly states that there is no account named 'salesforce.com'. This indicates a misunderstanding of the QUERY, as the user likely expected a summary regardless of the account's existence. Therefore, it does not align with the EXPECTED RESPONSE.BOTの応答では、要求されたアカウント詳細情報の概要が提供されず、「salesforce.com」というアカウントが存在しないという誤った回答が返されています。これはクエリの解釈ミスであり、ユーザーはアカウントの存在に関わらず概要を期待していた可能性が高いと考えられます。したがって、これは期待される応答と一致していません。
- The BOT RESPONSE accurately provides the priority of the specified case number, which aligns with the EXPECTED RESPONSE. It is clear and complete, although it includes an additional prompt for further assistance that is not necessary for achieving the goal. However, this does not detract significantly from its alignment with the expected outcome.BOTの応答は、指定されたケース番号の優先度を正確に示しており、期待される応答と一致しています。目標達成には必要のない追加サポートを求めるプロンプトが含まれているものの、明確かつ完全です。ただし、これは期待される結果との整合性を大きく損なうものではありません。
- The BOT RESPONSE indicates that no records are found for the account 'Acme' and prompts the user for verification or additional details. However, the bot should have first attempted to retrieve any existing information rather than immediately stating no records were found. This leads to a partial failure in achieving the goal of showing account activities, resulting in a lower score.BOTのレスポンスは、アカウント「Acme」のレコードが見つからないことを示しており、ユーザーに確認または追加情報の入力を求めています。しかし、ボットはすぐにレコードが見つからないと報告するのではなく、まず既存の情報を取得しようと試みるべきでした。これにより、アカウントアクティビティの表示という目標が部分的に達成されず、スコアが低くなっています。
- The BOT RESPONSE fails to provide any relevant information regarding the open cases and activities for 'Acme' and instead incorrectly states that no records were found. It also does not fulfill the user's request for a summary and does not prompt for any additional information that could help clarify the user's query. Therefore, it does not align with the EXPECTED RESPONSE.BOTの応答は、「Acme」のオープンケースと活動に関する関連情報を一切提供しておらず、レコードが見つからないという誤った回答をしています。また、ユーザーの概要要求も満たされておらず、ユーザーの質問を明確にするのに役立つ追加情報の入力も求められていません。したがって、期待される応答と一致していません
Use AI to Generate Tests
アクションのテストではエラーがある
