TL;DR
- 高校生約1,000人を対象としたランダム化比較試験では、GPT-4利用中の練習得点が48％または127％向上した
- 一般的なChatGPTに近いUIを使った群は、AIなしの試験で対照群より17％低い得点になった
- 答えを直接渡さず、教師が用意したヒントを返す設計では、悪影響がほぼ解消された
- AI学習支援は、
assisted performanceとunassisted learningを分けて評価する必要がある - 本研究はトルコの一つの高校における短期的な数学学習の結果であり、社会全体の学力低下を示すものではない
この記事は、教育向けLLM機能を設計・評価するエンジニアやプロダクト担当者を対象に、PNAS掲載研究の実験条件、結果、設計上の示唆を整理します。
コードやベンチマークを追加で実行した検証記事ではありません。論文で公開された実験設計と結果を、プロダクト評価の観点から読み解きます。
検証対象と環境
中心資料は、Bastaniほかによる「Generative AI without guardrails can harm learning: Evidence from high school mathematics」です。
| 項目 | 条件 |
|---|---|
| 掲載 | PNAS、2025年 |
| 実施場所 | トルコの大規模高校1校 |
| 対象 | 9年生から11年生、約1,000人、約50クラス |
| 期間 | 2023〜2024年度秋学期、4回の90分セッション |
| 教科 | 授業で既習の高校数学 |
| モデル | GPT-4ベースの研究用学習支援ツール |
| 主評価 | 練習後にAI・教材なしで受ける試験の得点 |
研究チームは事前登録を行い、独立した採点者が教師作成のルーブリックに基づいて答案を評価しました。匿名化されたデータと分析コードも論文から案内されています。
実験デザイン
各セッションは、AIまたは教材を使える練習フェーズと、すべての補助を外した試験フェーズに分かれています。
比較した条件は次の3つです。
| 条件 | 練習時の支援 | 設計上の特徴 |
|---|---|---|
| Control | 教科書、授業ノート | 生成AIなし |
| GPT Base | 教科書、ノート、GPT-4 | 一般的なChatGPTに近いチャット。解答も提示できる |
| GPT Tutor | 教科書、ノート、GPT-4 | 答えを直接渡さず、教師作成の正解・典型的誤り・ヒントを利用 |
GPT BaseとGPT Tutorは同じモデルを使っています。主な違いは、UIから見えるモデル名ではなく、システム側のガードレールと問題固有の教師情報です。
GPT Tutorには、次の制約がありました。
- 答えを直接提示せず、ヒントを返す
- 教師が用意した正しい解法を参照する
- 典型的な間違いとフィードバック方法を参照する
この問題固有の設計は、論文でも労力がかかる方法だと説明されています。
結果：利用中の性能と学習結果が逆転した
練習フェーズでは、両方のGPT群が対照群を上回りました。
| 評価 | GPT Base | GPT Tutor |
|---|---|---|
| AI利用中の練習得点 | 対照群より48％高い | 対照群より127％高い |
| AIなし試験 | 対照群より17％低い | 悪影響はほぼ解消。ただし正の効果は未確認 |
48％と127％は、AIを使って練習問題へ回答している最中の得点です。学習者単独の能力向上を表す数字ではありません。
プロダクトのKPIが「セッション中の正答率」だけなら、GPT BaseもGPT Tutorも成功に見えます。
しかし、AIを外した試験を評価に入れると、GPT Baseは対照群を下回りました。つまり、支援中のタスク性能を、そのまま技能獲得の指標として扱えません。
想定されたメカニズム
研究チームは、生徒とGPT-4の会話ログを分析しています。
GPT Baseでは、生徒が解答を要求してコピーする使い方が多く見られました。GPT Tutorでは、答えが直接返らないため、助けを求めたり自分で回答を試したりする対話が増えました。
学習タスクを次の工程に分けると、違いを説明しやすくなります。
- 問題を読んで不明点を特定する
- 関連する知識を想起する
- 解法を選択する
- 計算や推論を実行する
- 誤りを検出して修正する
- 解法を説明する
GPT Baseが完成解答を返すと、2〜5の工程を省略できます。出力は得られても、学習者が工程を実行する回数は減ります。
GPT Tutorは、ヒントと質問によって工程を学習者側へ残しました。同じGPT-4でも、支援の設計によって結果が変わった点が重要です。
学習支援機能で分けるべき2つの評価
生成AIを使う教育機能では、少なくとも次の2系統を分けて測る必要があります。
Assisted performance
AIを利用できる状態で、課題をどれだけ正確・迅速に終えられるかを測ります。
候補指標は次のとおりです。
- AI利用中の正答率
- 課題完了率
- 回答までの時間
- ヒント利用後の再試行成功率
Unassisted learning
AIを外した状態で、技能が学習者側に残っているかを測ります。
候補指標は次のとおりです。
- AIなしの遅延テスト
- 白紙からの再現
- 類題への転移
- 解法理由の説明
- AIの誤答を検出する能力
教育向け機能の目的が技能習得なら、主要KPIを支援中の正答率だけに置かず、AIなし評価を事前に設計する必要があります。
実装・運用時の設計チェック
研究結果をプロダクト要件へ落とす場合、次の順序で確認できます。
- 学習者が最初の試行を送るまで、完成解答を表示しない
- 一度に返すヒントを限定し、次の思考を促す質問を入れる
- 教師作成の解法、典型誤り、採点基準を参照できるようにする
- AIの回答だけでなく、学習者の再試行をログへ残す
- セッション後にAIなしの確認問題を出す
- 支援中の正答率とAIなし評価を別のダッシュボード指標として扱う
- モデルの誤答率と、学習者が誤答を採用した割合を確認する
これらは論文から得られる設計上の示唆であり、特定の実装で効果を確認したコード例ではありません。実装後は対象教科、年齢、利用時間に合わせた評価が必要です。
制約と未解決点
- 一つの高校と数学科目に限定された研究である
- 4回の授業を通じた短期的な技能習得を測っている
- 一般公開版ChatGPTそのものではなく、GPT-4を使った研究用UIである
- GPT Tutorの問題固有情報は教師が準備しており、運用コストがかかる
- GPT Tutorは悪影響をほぼ消したが、対照群を上回る学習効果は示さなかった
- 日本の教育環境や他教科へ同じ結果を直接適用できない
また、記事化のきっかけとなった動画では研究名が明示されていません。松尾豊教授がこの論文だけを念頭に置いていたかは確認できません。
まとめ
GPT-4学習支援を評価するとき、利用中の正答率だけを見ると判断を誤ります。
PNASのランダム化比較試験では、GPT Baseが練習得点を48％高めた一方、AIなし試験では17％低下しました。答えを直接渡さないGPT Tutorでは悪影響がほぼ消えました。
教育向けLLMの設計判断は、モデル性能だけでは完結しません。
AIが正解を生成できるかではなく、AIを外した後も学習者が正解へたどり着けるかまで測る必要があります。