この記事は「2026 Japan AWS Jr. Champions 真夏の Qiitaリレー」の40日目の記事となります。
過去の投稿（リンク集）・昨日の投稿は以下リンクからご覧ください。

1.はじめに

BIツールに「聞くだけ」でグラフ付きの調査レポートが自動で出てくる時代になりました。Amazon Quick（旧Amazon QuickSight / Quick Suite）のエージェント機能「Quick Research」も、自然言語で依頼するだけで根拠データ付きの調査レポートを自動生成してくれます。

Quick Researchには、実行速度が異なる 「高速モード」「詳細モード」 の2つのモードがあります。「詳細の方が時間をかける分、当然精度も高いんだろうな」と最初は思っていました。

本記事では、5,000名分の人事データを使い、同じ質問を両モードに投げて結果を突き合わせてみた検証の記録をまとめます。
結論から言うと、「詳細モードだから安心」とは言い切れない、というやや意外な発見がありました。

2.Amazon Quickとは

検証に入る前に、軽く前提知識を整理します。

プロダクト	概要
Amazon QuickSight	AWSのBIサービス。データを可視化しダッシュボードで共有する、従来型の分析基盤
Amazon QuickSuite	2025年10月、QuickSightにAIエージェント機能を統合し進化した際の名称
Amazon Quick	2026年2月、Quick Suiteから改称された現在の名称

今回検証する Quick Research は、Amazon Quickに含まれるAIエージェント機能のひとつです。

社内のエンタープライズデータと、信頼できる外部の公開情報をAIエージェントが横断的に調査
グラフや表を含む、構造化された詳細な調査レポートを自動生成
実行速度が異なる「高速」「詳細」の2モードを持つ

今回のテーマ

モード（高速/詳細）による精度の差はどれくらいあるのか

3.検証概要

検証素材

従業員5,000名分の人事データを収録したデータセット（employee_data.csv）を使用しました。基本情報から勤務状況・評価・エンゲージメント・離職状況まで、31項目が収録されています。

引用元：Amazon Quick Suite 完全ガイド

検証用の質問

高速モード・詳細モードそれぞれに、以下2つの質問を投げました。

質問1（単純な集計タスク）

部門別の平均年収とエンゲージメントスコアを一覧表にまとめてください

質問2（込み入った原因分析タスク）

離職した社員（Attrition Flagが高い社員）と在籍中の社員を、部門・役職レベル（Position Level）・給与・エンゲージメントスコア・満足度スコア・ワークライフバランススコアの観点から比較し、離職の主要因を部門ごとに特定した上で、根拠データとともに改善提言をまとめてください。

質問1はシンプルな集計なので「モードによる差はほぼ出ないだろう」、質問2は複数変数を横断する込み入った分析なので「詳細モードの方が踏み込んだ分析をしてくれるだろう」と予想して検証をスタートしました。

4.質問1の回答：さっそく差分が出た

まず単純な集計タスクから見てみます。　
結果自体は以下の通りで、部門ごとの平均年収・エンゲージメントスコアの傾向はどちらのモードでもほぼ同じでした。

一見「大差なし」に見えるのですが、そもそも集計対象にした人数が違うことに気づきました。

高速モード：在籍者のみ（4,310名）で集計
詳細モード：在籍者・退職者を含めた全員（5,000名）で集計

「部門別の平均年収を出して」としか指示しておらず、"退職者を含むか含まないか"を明示していませんでした。指示が曖昧だったのは事実ですが、AIが勝手にサンプル数・計算量を減らそうとした可能性があるという点は、今後プロンプトを書くうえで無視できない気づきでした。

5.質問2の回答：踏み込むほど差が広がる

質問2（部門別の離職要因分析）は、観点ごとに結果を見ていきます。

部門別離職率：ここは大差なし

まずは全体感から。
両モードとも、部門別の離職率はほぼ同じ結果でした。

オペレーション部門が16.58%で最高、人事部門が12.43%で最低、という傾向はどちらのモードでも一致していました。

エンゲージメントギャップ率：ここも大差なし

部門別のエンゲージメントギャップ率（離職者と在籍者のスコア差）についても、両モードでほぼ同じ傾向のグラフが出力されました。

給与ギャップ率：数字レベルでも一致

部門別の給与ギャップ率（(離職者平均−在籍者平均)÷在籍者平均×100）まで見ても、両モードの数字はぴったり一致していました。

ここまでは正直「意外と差がないな」という感想でした。しかし、部門×役職レベルまで踏み込んだ瞬間、両モードの分析の"クセ"がはっきり分かれてきます。

部門×役職レベル別クロス分析：ここで分析の方向性が分岐

高速モードが提示したセグメント（給与ギャップの大きい組み合わせ）

部門×レベル	在籍者平均給与（n）	離職者平均給与（n）	ギャップ率
Engineering L3	142,242（245）	129,417（35）	−9.02%
Sales L4	190,328（123）	185,575（25）	−2.50%
Engineering L1	72,309（356）	71,314（60）	−1.38%
Finance L4	185,867（106）	194,318（24）	+4.55%
Operations L1	72,412（208）	68,931（35）	−4.81%

詳細モードが提示したセグメント（離職率が高い組み合わせ）

部門	職位レベル	在籍者	離職者	合計	離職率
HR	L6	18	6	24	25.00%
Finance	L7	8	2	10	20.00%
Operations	L5	24	6	30	20.00%
Operations	L3	130	32	162	19.75%
Finance	L4	106	24	130	18.46%
Operations	L4	67	15	82	18.29%
Sales	L4	123	25	148	16.89%
Operations	L6	10	2	12	16.67%
Operations	L2	161	31	192	16.15%
Sales	L3	205	39	244	15.98%

両者はそもそもセグメントを抽出する軸自体が違いました。

高速モード：給与ギャップの大きいセグメントを抽出（「給与が低い＝離職率が高い」という前提で分析）
詳細モード：離職率が高いセグメントを抽出
実は「給与が低いほど離職率が高い」という前提について、後から相関係数を計算してみたところ、実際の相関係数はかなり小さいことが分かりました。高速モードはこの前提のまま分析を進めており、セグメントの抽出はできたものの、それ以上の深掘り（なぜそのセグメントで給与ギャップが大きいのか）はされていませんでした。

主要因特定：ここで結論が割れる

最後に、両モードが「部門ごとの離職主要因」として何を挙げたかを比較します。

高速モード

部門	主要要因	その他
Operations	昇進機会の不足、WLB低下	ー
Sales	WLB低下、給与水準の低さ	ー
Engineering	満足度低下、給与水準の低さ	ー
Finance	エンゲージメント低下	給与は離職者の方が高い
HR	エンゲージメント低下、WLB低下	給与は離職者の方が高い

詳細モード

部門	主要要因	その他
Operations	WLB低下	エンゲージメント・給与の差なし
Sales	WLB低下	エンゲージメント・満足度は軽微
Engineering	満足度低下	給与もやや影響
Finance	エンゲージメント低下	給与は離職者の方が高い
HR	エンゲージメント低下、WLB低下	給与は離職者の方が高い

大枠は似ていますが、Operations部門で明確な違いが出ました。高速モードは「昇進機会の不足」を主要因のひとつとして挙げているのに対し、詳細モードはそれに触れていません。

ざっくり言うと、

高速モード：統計指標（相関）＋新軸（昇進率など）で横断的に見るアプローチ
詳細モード：単一指標（ギャップ率）で1つずつ深掘りするアプローチ
という、分析の"やり方"自体が異なっていました。

6.分析手法の比較まとめ

質問2全体を通して見えてきた、両モードの分析設計の違いを表にまとめます。

観点	高速モード	詳細モード
対象とした指標の範囲	4指標に加え、相関係数も算出	給与・エンゲージメント・満足度・WLBの4指標のみ
部門×職位レベルクロス分析	セグメントを給与ギャップの大きさで抽出。n≥10のみ	35セグメント全件を計算し、離職率で上位10件を提示
自己検証セクション	未実施	独立した章で部門別合計・離職者合計の整合性を突合
統計的有意性の検証	ナシ	ナシ
アプローチのまとめ	分析設計の広さ優先・要点抽出型	深さ優先・網羅性重視

手法上の本質的な違い

詳細モード：「与えられた4軸（給与・エンゲージメント・満足度・WLB）を、ギャップ率という単一指標で、可能な限り深く・広く（35セグメント全件）掘る」という深さ優先・網羅性重視のアプローチ
高速モード：「4軸に相関係数という統計的な物差しと、キャリア開発という新しい軸を自発的に追加し、その代わり細部（全セグメント一覧）は主要なものに絞る」という分析設計の広さ優先・要点抽出型のアプローチ
ただし、どちらも「ギャップ率や相関係数がどこまで小さければ意味を持たないか」という有意性の閾値を検証していない点は共通しています。高速モードが一見統計的に洗練された指標（相関係数）を使っていても、断定的に「主要因」と結論づける姿勢自体は詳細モードと変わりませんでした。手法の見た目の精緻さと、結論の妥当性は別問題だと感じたポイントです。

7.感想

高速モードは「広く浅く、切り口を増やして見る」タイプ

新しい軸（キャリア開発指標）を自分から追加してくる分、視点は広がります。ただし、その分1つ1つのセグメントへの深掘りは浅めで、前提（給与と離職率の関係）を検証せずに進めてしまう場面もありました。

詳細モードは「与えられた軸を、とにかく網羅的に掘る」タイプ

35セグメント全件を計算するなど、網羅性・自己検証の丁寧さは詳細モードに軍配が上がります。ただし、与えられた軸の外には出てこないので、高速モードが拾えた「昇進機会」のような新しい視点は出てきませんでした。

つまり、「詳細モードの方が偉い」という単純な話ではなく、得意な仕事の種類が違う、というのが率直な感想です。プロトタイプ的に色々な切り口を試したいなら高速モード、与えられた軸をとにかく丁寧に検証したいなら詳細モード、という使い分けが良さそうです。

8.まとめ

	検証内容
やったこと	Amazon Quick Researchに、5,000名分の人事データを渡して「高速モード」「詳細モード」に同じ質問を投げてみた
検証範囲	単純な集計（質問1）と、部門ごとの離職要因を特定するような踏み込んだ分析（質問2）の両方で比較

	結果
見つかった問題	質問の書き方が曖昧だと、母数（集計対象の人数）をモードごとに勝手に変えてくることがあった
精度そのもの	単純な集計〜中間的な集計（離職率、給与ギャップ）までは、両モードともほぼ一致
差が出た場所	セグメントの抽出軸、主要因の断定の仕方など、"分析の設計思想"に関わる部分で差が出た

考察：問いを立てて、検証するのは結局こっちの仕事

AIは「聞けば答えてくれる」けれど、その答えが妥当かどうかは、聞き方とチェック体制次第で大きく変わります。BIツールの意義もむしろここにあるのではないでしょうか。AIが示唆まで作ってくれる時代だからこそ、その示唆を検証できる仕組み・データの持ち方の価値は、これからむしろ上がっていくはずです。

Amazon Quick Researchは非常に強力なツールですが、「AIが出したレポートだから」と鵜呑みにせず、母数は合っているか・前提の相関は本当にあるのかくらいは、一度自分の目で確かめてみることをおすすめします。

9.免責事項

掲載している検証結果・数値は執筆者が実際に検証した内容をベースにしていますが、実際の分析・意思決定に活用する際は、必ずご自身でも数値の裏取りを行うことをおすすめします。