この記事は「2026 Japan AWS Jr. Champions 真夏の Qiitaリレー」の40日目の記事となります。
過去の投稿（リンク集）・昨日の投稿は以下リンクからご覧ください。
1.はじめに
BIツールに「聞くだけ」でグラフ付きの調査レポートが自動で出てくる時代になりました。Amazon Quick（旧Amazon QuickSight / Quick Suite）のエージェント機能「Quick Research」も、自然言語で依頼するだけで根拠データ付きの調査レポートを自動生成してくれます。
Quick Researchには、実行速度が異なる 「高速モード」「詳細モード」 の2つのモードがあります。「詳細の方が時間をかける分、当然精度も高いんだろうな」と最初は思っていました。
本記事では、5,000名分の人事データを使い、同じ質問を両モードに投げて結果を突き合わせてみた検証の記録をまとめます。
結論から言うと、「詳細モードだから安心」とは言い切れない、というやや意外な発見がありました。
2.Amazon Quickとは
検証に入る前に、軽く前提知識を整理します。
| プロダクト | 概要 |
|---|---|
| Amazon QuickSight | AWSのBIサービス。データを可視化しダッシュボードで共有する、従来型の分析基盤 |
| Amazon QuickSuite | 2025年10月、QuickSightにAIエージェント機能を統合し進化した際の名称 |
| Amazon Quick | 2026年2月、Quick Suiteから改称された現在の名称 |
今回検証する Quick Research は、Amazon Quickに含まれるAIエージェント機能のひとつです。
- 社内のエンタープライズデータと、信頼できる外部の公開情報をAIエージェントが横断的に調査
- グラフや表を含む、構造化された詳細な調査レポートを自動生成
- 実行速度が異なる「高速」「詳細」の2モードを持つ
今回のテーマ
- モード（高速/詳細）による精度の差はどれくらいあるのか
3.検証概要
検証素材
従業員5,000名分の人事データを収録したデータセット（employee_data.csv）を使用しました。基本情報から勤務状況・評価・エンゲージメント・離職状況まで、31項目が収録されています。
引用元：Amazon Quick Suite 完全ガイド
検証用の質問
高速モード・詳細モードそれぞれに、以下2つの質問を投げました。
質問1（単純な集計タスク）
部門別の平均年収とエンゲージメントスコアを一覧表にまとめてください
質問2（込み入った原因分析タスク）
離職した社員（Attrition Flagが高い社員）と在籍中の社員を、部門・役職レベル（Position Level）・給与・エンゲージメントスコア・満足度スコア・ワークライフバランススコアの観点から比較し、離職の主要因を部門ごとに特定した上で、根拠データとともに改善提言をまとめてください。
質問1はシンプルな集計なので「モードによる差はほぼ出ないだろう」、質問2は複数変数を横断する込み入った分析なので「詳細モードの方が踏み込んだ分析をしてくれるだろう」と予想して検証をスタートしました。
4.質問1の回答：さっそく差分が出た
まず単純な集計タスクから見てみます。
結果自体は以下の通りで、部門ごとの平均年収・エンゲージメントスコアの傾向はどちらのモードでもほぼ同じでした。
一見「大差なし」に見えるのですが、そもそも集計対象にした人数が違うことに気づきました。
- 高速モード：在籍者のみ（4,310名）で集計
- 詳細モード：在籍者・退職者を含めた全員（5,000名）で集計
「部門別の平均年収を出して」としか指示しておらず、"退職者を含むか含まないか"を明示していませんでした。指示が曖昧だったのは事実ですが、AIが勝手にサンプル数・計算量を減らそうとした可能性があるという点は、今後プロンプトを書くうえで無視できない気づきでした。
5.質問2の回答：踏み込むほど差が広がる
質問2（部門別の離職要因分析）は、観点ごとに結果を見ていきます。
部門別離職率：ここは大差なし
まずは全体感から。
両モードとも、部門別の離職率はほぼ同じ結果でした。
オペレーション部門が16.58%で最高、人事部門が12.43%で最低、という傾向はどちらのモードでも一致していました。
エンゲージメントギャップ率：ここも大差なし
部門別のエンゲージメントギャップ率（離職者と在籍者のスコア差）についても、両モードでほぼ同じ傾向のグラフが出力されました。
給与ギャップ率：数字レベルでも一致
部門別の給与ギャップ率（(離職者平均−在籍者平均)÷在籍者平均×100）まで見ても、両モードの数字はぴったり一致していました。
ここまでは正直「意外と差がないな」という感想でした。しかし、部門×役職レベルまで踏み込んだ瞬間、両モードの分析の"クセ"がはっきり分かれてきます。
部門×役職レベル別クロス分析：ここで分析の方向性が分岐
高速モードが提示したセグメント（給与ギャップの大きい組み合わせ）
| 部門×レベル | 在籍者平均給与（n） | 離職者平均給与（n） | ギャップ率 |
|---|---|---|---|
| Engineering L3 | 142,242（245） | 129,417（35） | −9.02% |
| Sales L4 | 190,328（123） | 185,575（25） | −2.50% |
| Engineering L1 | 72,309（356） | 71,314（60） | −1.38% |
| Finance L4 | 185,867（106） | 194,318（24） | +4.55% |
| Operations L1 | 72,412（208） | 68,931（35） | −4.81% |
詳細モードが提示したセグメント（離職率が高い組み合わせ）
| 部門 | 職位レベル | 在籍者 | 離職者 | 合計 | 離職率 |
|---|---|---|---|---|---|
| HR | L6 | 18 | 6 | 24 | 25.00% |
| Finance | L7 | 8 | 2 | 10 | 20.00% |
| Operations | L5 | 24 | 6 | 30 | 20.00% |
| Operations | L3 | 130 | 32 | 162 | 19.75% |
| Finance | L4 | 106 | 24 | 130 | 18.46% |
| Operations | L4 | 67 | 15 | 82 | 18.29% |
| Sales | L4 | 123 | 25 | 148 | 16.89% |
| Operations | L6 | 10 | 2 | 12 | 16.67% |
| Operations | L2 | 161 | 31 | 192 | 16.15% |
| Sales | L3 | 205 | 39 | 244 | 15.98% |
両者はそもそもセグメントを抽出する軸自体が違いました。
- 高速モード：給与ギャップの大きいセグメントを抽出（「給与が低い＝離職率が高い」という前提で分析）
- 詳細モード：離職率が高いセグメントを抽出
実は「給与が低いほど離職率が高い」という前提について、後から相関係数を計算してみたところ、実際の相関係数はかなり小さいことが分かりました。高速モードはこの前提のまま分析を進めており、セグメントの抽出はできたものの、それ以上の深掘り（なぜそのセグメントで給与ギャップが大きいのか）はされていませんでした。
主要因特定：ここで結論が割れる
最後に、両モードが「部門ごとの離職主要因」として何を挙げたかを比較します。
高速モード
| 部門 | 主要要因 | その他 |
|---|---|---|
| Operations | 昇進機会の不足、WLB低下 | ー |
| Sales | WLB低下、給与水準の低さ | ー |
| Engineering | 満足度低下、給与水準の低さ | ー |
| Finance | エンゲージメント低下 | 給与は離職者の方が高い |
| HR | エンゲージメント低下、WLB低下 | 給与は離職者の方が高い |
詳細モード
| 部門 | 主要要因 | その他 |
|---|---|---|
| Operations | WLB低下 | エンゲージメント・給与の差なし |
| Sales | WLB低下 | エンゲージメント・満足度は軽微 |
| Engineering | 満足度低下 | 給与もやや影響 |
| Finance | エンゲージメント低下 | 給与は離職者の方が高い |
| HR | エンゲージメント低下、WLB低下 | 給与は離職者の方が高い |
大枠は似ていますが、Operations部門で明確な違いが出ました。高速モードは「昇進機会の不足」を主要因のひとつとして挙げているのに対し、詳細モードはそれに触れていません。
ざっくり言うと、
- 高速モード：統計指標（相関）＋新軸（昇進率など）で横断的に見るアプローチ
- 詳細モード：単一指標（ギャップ率）で1つずつ深掘りするアプローチ
という、分析の"やり方"自体が異なっていました。
6.分析手法の比較まとめ
質問2全体を通して見えてきた、両モードの分析設計の違いを表にまとめます。
| 観点 | 高速モード | 詳細モード |
|---|---|---|
| 対象とした指標の範囲 | 4指標に加え、相関係数も算出 | 給与・エンゲージメント・満足度・WLBの4指標のみ |
| 部門×職位レベル クロス分析 | セグメントを給与ギャップの大きさで抽出。n≥10のみ | 35セグメント全件を計算し、離職率で上位10件を提示 |
| 自己検証セクション | 未実施 | 独立した章で部門別合計・離職者合計の整合性を突合 |
| 統計的有意性の検証 | ナシ | ナシ |
| アプローチのまとめ | 分析設計の広さ優先・要点抽出型 | 深さ優先・網羅性重視 |
手法上の本質的な違い
- 詳細モード：「与えられた4軸（給与・エンゲージメント・満足度・WLB）を、ギャップ率という単一指標で、可能な限り深く・広く（35セグメント全件）掘る」という深さ優先・網羅性重視のアプローチ
-
高速モード：「4軸に相関係数という統計的な物差しと、キャリア開発という新しい軸を自発的に追加し、その代わり細部（全セグメント一覧）は主要なものに絞る」という分析設計の広さ優先・要点抽出型のアプローチ
ただし、どちらも「ギャップ率や相関係数がどこまで小さければ意味を持たないか」という有意性の閾値を検証していない点は共通しています。高速モードが一見統計的に洗練された指標（相関係数）を使っていても、断定的に「主要因」と結論づける姿勢自体は詳細モードと変わりませんでした。手法の見た目の精緻さと、結論の妥当性は別問題だと感じたポイントです。
7.感想
高速モードは「広く浅く、切り口を増やして見る」タイプ
新しい軸（キャリア開発指標）を自分から追加してくる分、視点は広がります。ただし、その分1つ1つのセグメントへの深掘りは浅めで、前提（給与と離職率の関係）を検証せずに進めてしまう場面もありました。
詳細モードは「与えられた軸を、とにかく網羅的に掘る」タイプ
35セグメント全件を計算するなど、網羅性・自己検証の丁寧さは詳細モードに軍配が上がります。ただし、与えられた軸の外には出てこないので、高速モードが拾えた「昇進機会」のような新しい視点は出てきませんでした。
つまり、「詳細モードの方が偉い」という単純な話ではなく、得意な仕事の種類が違う、というのが率直な感想です。プロトタイプ的に色々な切り口を試したいなら高速モード、与えられた軸をとにかく丁寧に検証したいなら詳細モード、という使い分けが良さそうです。
8.まとめ
| 検証内容 | |
|---|---|
| やったこと | Amazon Quick Researchに、5,000名分の人事データを渡して「高速モード」「詳細モード」に同じ質問を投げてみた |
| 検証範囲 | 単純な集計（質問1）と、部門ごとの離職要因を特定するような踏み込んだ分析（質問2）の両方で比較 |
| 結果 | |
|---|---|
| 見つかった問題 | 質問の書き方が曖昧だと、母数（集計対象の人数）をモードごとに勝手に変えてくることがあった |
| 精度そのもの | 単純な集計〜中間的な集計（離職率、給与ギャップ）までは、両モードともほぼ一致 |
| 差が出た場所 | セグメントの抽出軸、主要因の断定の仕方など、"分析の設計思想"に関わる部分で差が出た |
考察：問いを立てて、検証するのは結局こっちの仕事
AIは「聞けば答えてくれる」けれど、その答えが妥当かどうかは、聞き方とチェック体制次第で大きく変わります。BIツールの意義もむしろここにあるのではないでしょうか。AIが示唆まで作ってくれる時代だからこそ、その示唆を検証できる仕組み・データの持ち方の価値は、これからむしろ上がっていくはずです。
Amazon Quick Researchは非常に強力なツールですが、「AIが出したレポートだから」と鵜呑みにせず、母数は合っているか・前提の相関は本当にあるのかくらいは、一度自分の目で確かめてみることをおすすめします。
9.免責事項
掲載している検証結果・数値は執筆者が実際に検証した内容をベースにしていますが、実際の分析・意思決定に活用する際は、必ずご自身でも数値の裏取りを行うことをおすすめします。