0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

作って終わりにしないAgent Builder:Monitorで利用状況・ナレッジ・評価から改善する

0
Posted at

執筆している2026年11月12日時点の情報です。本記事で扱う Microsoft 365 Copilot の Agent Builder は更新が速い機能のため、最新情報は必ず公開情報(本記事末尾の参考リンク)もあわせてご確認ください。

1. エージェントを共有した後、改善の材料は集めていますか?

社内FAQのエージェントを作り、チームへ共有した。ところが、その後に何を見ればよいのか分からない。こうした状態では、改善が作成者の感覚に偏りがちです。

  • 継続して使われているのか
  • 想定した資料が参照されているのか
  • どのような点で使いにくいと感じられているのか

Agent Builderの Monitor タブは、こうした確認の材料を集める機能です。

本記事では、組織全体の利用状況を見る管理者向けレポートではなく、個別エージェントの作成者・編集者が改善に使う画面に焦点を当てます。説明は公開資料に基づき、実際のテナントでの計測や画面操作は行っていません。

参考情報

2. この記事で分かること

  • Monitorで確認できる指標と、それぞれの読み方
  • ナレッジソースの利用傾向をどう改善につなげるか
  • 評価・コメントが表示されないときの確認点
  • 数値だけで成果を断定しないための進め方

3. Monitorを使うための条件

公式資料では、Monitorを利用する前提として、エージェントの所有者であるか、Can edit のアクセス権を持つことが示されています。

さらに、利用者の評価・コメントを見るには、管理者が Agent feedback sharing を有効にしている必要があります。

確認すること 主な担当者
対象エージェントの所有権または編集権限 エージェント所有者
フィードバック共有設定 組織の管理者
対象期間の利用と、実際の評価投稿 利用者・運用担当者

Monitorの公式ページは、取得した公開ページの更新情報では2026年10月12日更新です。これは機能の提供開始日や、すべてのテナントへの展開完了日を意味しません。

Monitorの資料だけでは、個別契約における利用料金や地域別の提供状況は確認できませんでした。エージェント本体のライセンス・課金条件と併せて、利用環境で確認します。

参考情報

4. まずは4つの指標を「利用の形」として見る

MonitorのOverviewには、次の指標が表示されると説明されています。

指標 公式説明の要点 読み取る際の注意
Total sessions エージェントとのセッションの総数 多さだけで業務成果は分からない
Avg. DAU 1日あたりの平均アクティブユーザー数 対象期間や営業日の構成にも注意する
Avg. user messages 1セッションで利用者が送ったメッセージ数の平均 やり取りが多い理由は一つではない
Avg. duration セッション継続時間の平均 長いことが良いとも悪いとも限らない

右列は、本記事で提案する読み方です。

例えばメッセージ数が増えても、複雑な相談に活用されているのか、回答が分かりにくく聞き直しているのかは、指標だけでは区別できません。

平均時間も同様です。短くなったから効率化に成功したと判断するには、回答品質や利用者の確認が必要です。

利用指標は、成果の証明ではなく、次に確認する場所を見つける材料として使います。

参考情報

5. EngagementとKnowledgeで、想定との違いを見る

Engagement:いつ使われているか

Engagementのグラフは、日ごとのセッション数とユーザー数を示します。

本記事で提案する使い方は、案内を出した日、資料を追加した日、業務が集中する時期などを別に記録し、利用の変化と並べることです。

同時期に増減したとしても、変更が原因だと直ちに断定することはできません。周知や季節要因も含めて考えます。

Knowledge:どの情報源が使われているか

Knowledgeのグラフでは、ナレッジソースごとの利用傾向を確認できます。

例えば、主な参照先として設定した資料の利用が少ない場合、次のような仮説を立てられます。

  • 利用者の質問が、想定した業務と異なっている
  • 資料に必要な情報が十分含まれていない
  • 指示やナレッジの構成を見直す余地がある

これは原因を確定する機能ではありません。該当する質問をテスト環境で再現し、資料の内容やアクセス条件も確認することを提案します。

また、このグラフを、個々の回答の正しさや参照内容を完全に追跡する監査ログと同じものだとは扱いません。公式ページに記載された範囲は、ソース別の利用傾向の可視化です。

参考情報

6. 評価とコメントを改善につなげる

MonitorのReactionsでは、利用者が投稿した肯定・否定の評価の件数や割合を確認できます。Commentsには、評価に添えられたコメント、投稿日、関連する評価が表示されます。

ただし、評価を付けていない利用者の意見までは分かりません。少数の評価を、全利用者の満足度と同一視しないことが大切です。

仮想例:社内FAQエージェントの回答が長すぎる

以下は、架空のチームを想定した改善案です。実際の評価データではありません。

コメントに「結論を先に知りたい」「回答が長い」という声がある場合、まず回答形式を改善する仮説を立てます。

  1. エージェントの指示に、結論を先に書くルールを追加する
  2. 詳細と注意事項は、その後に分けて記載する
  3. 代表的な質問と、例外条件を含む質問でテストする
  4. 変更日を記録し、共有後の評価と利用傾向を確認する

このとき、短くすることで重要な例外条件が落ちていないかも確認します。「低評価を減らす」だけでなく、必要な内容を保つことが目的です。

フィードバックを集める際は、機密情報や個人情報をコメントへ書かないよう案内する運用も提案します。コメントの転記や社外共有を、無条件に行ってよいわけではありません。

参考情報

7. 画面を開き、データがない場合を確認する

Monitorを開く

公開されている手順は次のとおりです。画面の実機検証は行っていません。

  1. Microsoft 365 Copilotで、対象エージェントの Edit を選びます。
  2. Monitor タブを開きます。
  3. 期間を Last 7 days、Last 14 days、Last 30 days、または Custom から選びます。
  4. Customの場合は、開始日と終了日を指定します。
  5. Overview、Engagement、Knowledge、Reactions、Commentsを確認します。

選択した期間は、Monitorタブの情報に適用されます。

評価・コメントがない場合

まず、次の二つを確認します。

  • 管理者が、そのエージェントのフィードバック共有を許可しているか
  • 選択した期間内に、利用者が実際に評価やコメントを送信したか

管理者は、Microsoft 365管理センターの Agents > Settings > Agent feedback sharing で設定します。

選択肢 設定の意味
No agents どのエージェントの開発者にもフィードバックを共有しない
All agents すべてのエージェントについて開発者へ共有する
Selected agents 選択したエージェントだけ共有する

この設定は、利用者が評価を付けられるかどうかや、エージェントがアクセスできるデータを変更するものではありません。

Try itだけで評価を確認しようとしない

Agent BuilderのTry itでは、フィードバックの送信など、一部の機能が使えないと説明されています。回答の試験と、作成後の利用者フィードバックの確認を分けて進めます。

参考情報

8. 運用に組み込むときの注意点

ここからは、機能の仕様ではなく運用上の提案です。

数値と変更履歴を一緒に記録する

小さな運用でも、次の項目があると振り返りやすくなります。

記録する項目 内容
対象期間 どの期間の数値を確認したか
気付いたこと 利用傾向、参照ソース、コメントの傾向
仮説 どの指示や資料を変えるとよいか
変更内容と日付 実際に変更した内容
確認結果 代表質問のテスト結果と、変更後の傾向

最初は週1回など無理のない頻度を決め、複数の変更を一度に加えすぎない方が、改善内容を追いやすくなります。変更前後の数字だけで、因果関係を保証するものではありません。

未確認事項を区別する

今回確認したMonitorの公開ページだけでは、データ反映までの時間、最大保持期間、エクスポートの可否、独自の集計除外条件は確認できませんでした。

また、日本語UIの表示、個別テナントの展開状況、実際のフィードバック共有、改善効果は未検証です。監査要件や正式な成果報告に使う場合は、必要な条件を追加で確認してください。

9. まとめ

Agent BuilderのMonitorは、作成後のエージェントを改善するために、利用状況、ナレッジソースの利用傾向、評価・コメントを確認する入口です。

重要なのは、数値を増やすこと自体ではありません。

利用傾向を見る、改善の仮説を立てる、小さく変更する、代表的な質問で確かめる。 この流れを続けることで、感覚だけに頼らない運用を目指せます。

参考リンク

ページ更新日は取得した公開ページの更新情報に基づき、機能の提供開始日を意味しません。

本記事について

本記事は、公開情報をもとに内容を整理し、できるだけ分かりやすく解説することを目的として作成しています。記載内容は個人の見解であり、所属組織の公式見解を示すものではありません。少しでもお役に立てればうれしいです。

ご質問・追記要望は本ページのコメント欄までお寄せください。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?