企業でCopilot for Microsoft 365を展開したあと、現場から「Copilotが文書の内容を間違えて答える」という報告が来ることがある。正確には「Copilotが嘘をついている」のではなく、「Copilotが読んでいる文書が意図したものではない」ケースが多い。
この記事で分かること:
- 「Copilotが文書を読み違える」に見えるケースの4つの原因
- 各原因に対応する確認・設定の手順
- 現場への説明のポイント
対象読者:企業でCopilot for Microsoft 365の展開・運用を担当しているエンジニアまたはIT推進担当者
前提:Copilotはどこから文書を読むか
Copilot for Microsoft 365 は、Microsoft Graph 経由でユーザーがアクセスできる SharePoint・OneDrive 上のコンテンツを参照する。ユーザーの権限で見えるものが検索対象になる。
ここで重要なのは「Copilotが読む文書」は、ユーザーが意図した文書とは限らない、という点。
確認する4点
1. インデックスに古いバージョンが残っていないか
SharePoint のドキュメントを更新したあと、Microsoft 365 のインデックスに反映されるまでにラグがある。更新直後にCopilotに聞くと古い内容を返すことがある。
確認手順:
- SharePoint の対象ファイルのバージョン履歴を確認する(バージョン管理が有効かどうかも確認)
- 更新後どのくらい時間が経過しているかを確認する
- Microsoft 365 管理センターから「コンテンツの検索」でファイルが最新バージョンとして検索に出るかを確認する
更新後24〜48時間でインデックスが反映されることが多いが、ドキュメントの量・設定によって変わる。急いで反映させる手順は公式には提供されていない(確認できていません)。
現場への説明:「更新したばかりの文書はすぐCopilotに反映されない。数時間から1日程度かかることがある」
2. ユーザーの権限で見えているファイルが意図したものか
Copilotはユーザーの権限で検索する。複数のサイト・ドキュメントライブラリに「同じような名前のファイル」が存在していて、ユーザーがアクセスできる範囲に複数あると、どちらを参照するかがCopilotの判断に依存する。
確認手順:
- Microsoft 365 の「検索」(search.office.com)で、同じキーワードで何件ヒットするか確認する
- ヒットした複数のファイルが、同じ内容の別バージョン・別コピーになっていないか確認する
- 古いドキュメントが削除されずにアクセス可能な状態になっていないか確認する
社内でよく起きるケース:プロジェクトフォルダが古いものから新しいものに移行したが、古いフォルダが残っていて両方にアクセスできる、というもの。
3. Copilotが参照したファイルをページで確認する
Copilotの回答に「ソース」が表示されている場合は、そのリンクをクリックして実際にどのファイルを参照したかを確認できる。
確認手順:
- CopilotのチャットでBizChatまたはWord/Excel内のCopilotを開く
- 質問する
- 回答の下に表示される「ソース」の欄で参照されたファイルを確認する
- 参照されていたファイルが意図したものと違う場合、2の手順に戻る
ソースが表示されない回答もある。その場合はCopilotがどのファイルを見たかを特定する手段がない(確認できていません)。
4. Copilot for Microsoft 365 管理センターで「Copilot の検索スコープ」を確認する
組織によっては管理者が Copilot の検索スコープを制限している場合がある。制限が設定されている場合、特定のサイト・ドキュメントライブラリが検索対象外になっている可能性がある。
確認手順:
- Microsoft 365 管理センター(admin.microsoft.com)→「Copilot」→「設定」を確認する
- 「Microsoft Copilot の設定」でデータへのアクセス設定を確認する
- SharePoint のサイトが「制限コンテンツ検索」の対象になっていないかを確認する
制限コンテンツ検索(Restricted SharePoint Search)が有効な場合、管理者が許可したサイトだけがCopilotの検索対象になる。有効かどうかは Microsoft 365 管理センターから Get-SPOTenantSiteContainer などの PowerShell コマンドで確認できる(Microsoft Learn 参照)。
Copilotが「嘘をついている」ではなく「見ている文書が違う」
現場のユーザーから「Copilotが間違ったことを言った」と報告が来るケースの多くは:
- 古いインデックスを見ていた
- 同名・類似ファイルの別バージョンを参照した
- ユーザーが意図したファイルが実は検索スコープ外だった
- 質問の書き方に対してCopilotが別のファイルを優先した
のどれかに当てはまることが多い。「Copilotを信用していいか」という問いへの答えは「何を読んでいるかを確認してから判断する」が実態に近い。
それでも改善されない場合は、ファイルの構成・命名規則・フォルダ整理の問題がある可能性が高い。
現場への説明で使える言い方
- 「Copilotが見ている文書を確認する」(ソースを開く)
- 「更新したばかりの文書は数時間後に再度確認する」
- 「質問の中にファイル名やサイト名を具体的に入れる」(Copilotの検索精度が上がる)
Copilotを「嘘をつくAI」として扱うより、「何を読んでいるかが分からないと精度が測れないツール」として現場に伝える方が、使い続けてもらいやすい。
参考: Microsoft Learn「Microsoft Copilot のデータとプライバシー」「制限コンテンツ検索を使用する」(いずれも公式ドキュメント。URLは時期により変わるため、公式サイトで検索してください)
関連記事:Copilotを入れても8割が「使えていない」——現場で見えてきた、定着しない本当の理由
社内展開のご相談を、ココナラで受け付けています(「Copilot導入 60分相談」で検索)。