AIの答えが「よさそう」に見えたとき、何を根拠にそう判断したのか、別の人にも説明できるでしょうか。相談への応答を扱う評価では、点数だけでなく、基準を作る人・採点する仕組み・測れる範囲を分けて読むことが大切です。
この記事は、OpenAIが2026年9月23日に発表したMentalHealthBenchを振り返るものです。10月31日に論文と公式配布データを確認しました。9月の原稿では配布先を特定できていませんでしたが、今回は論文第8節のZIPを実際に取得できました。以下では、①役割、②公開データ、③再検証の準備を整理します。
1．専門家が作る基準と、AIによる採点を分ける
公式発表によると、MentalHealthBenchは22か国の資格を持つ専門家80人超と開発されました。評価用の合成会話について、専門家が望ましい応答・避けるべき応答の基準を作り、複数人で確認します。その基準に応答が当てはまるかを判定する自動採点にはGPT-5.6 Solを使っています。
「専門家が参加した評価」と「各モデルの返答をすべて専門家が直接採点した」は同じではありません。評価結果を読むときは、基準の作成方法と自動採点の方法を別々に確かめます。
このベンチマークが評価するのは、会話履歴に続く最後のユーザー発言への応答です。患者の治療成績や長期的な健康への影響を実証する試験ではありません。OpenAIもChatGPTは専門的な治療やケアの代わりではないと説明しています。この記事も研究と評価手順の紹介であり、個別の医療判断を扱うものではありません。
2．配布ZIPで1,215会話・5,262基準を確認した
論文第8節「Data Access」のリンクから取得したZIPには、README、LICENSE、評価用JSONLが入っていました。今回、JSONLをローカルで読み、1,215レコード、採点基準の合計5,262項目を確認しました。論文の説明と一致する件数です。
データには会話、採点基準、言語などが分けて入っています。会話の先頭に背景情報を示すsystemメッセージがある場合は評価時に保持し、データ識別用のcanary_stringはモデルや採点器の入力へ含めないよう案内されています。
データの読み込みに成功したことは、モデルの評価を再実行したこととは別です。今回はモデル応答の生成、自動採点、人手評価との一致率の検証は行っていません。また、配布元は評価用会話の本文や画像をオンラインへ転載しないよう求めています。本記事の図に実際の会話例や採点基準本文は転載していません。
Pythonで件数だけを確認する
公式ZIPを OAI_MentalHealthBench.zip として手元に保存した場合の例です。標準ライブラリだけを使い、ファイルを展開せず、会話本文を出力しません。APIを呼ばないため、このコードでモデルが採点されることもありません。
import json
from zipfile import ZipFile
with ZipFile("OAI_MentalHealthBench.zip") as archive:
lines = archive.read(
"mentalhealthbench/mentalhealthbench_eval.jsonl"
).decode("utf-8").splitlines()
rows = [json.loads(line) for line in lines if line.strip()]
rubric_count = sum(len(row["rubric_items"]) for row in rows)
print({"conversations": len(rows), "rubric_items": rubric_count})
今回取得したファイルでの出力は {'conversations': 1215, 'rubric_items': 5262} でした。配布物が更新されれば件数が変わる可能性があるため、取得日とファイルのハッシュも別に記録すると再確認しやすくなります。これはデータ確認の手順であり、医療上の正しさを検査するコードではありません。
3．再検証の記録を「入力・採点・解釈」に分ける
ここからは、評価を再現しやすくするための記事側の提案です。実行前に次の3つを決めておきます。
- 入力：配布物の版・取得日、対象レコード、systemメッセージを含む会話の扱い。
- 採点：評価するモデルと採点するモデルの名前・設定、使った基準、エラーや未判定の記録。
- 解釈：どの条件で得た結果か、再実行していない項目は何か、測定対象の外にあることは何か。
たとえば、データ件数だけを調べた段階なら「入力確認済み／応答生成は未実施／採点は未実施」と書けます。まだ存在しない結果を空欄のまま分けておけば、確認済みの範囲が伝わります。
まとめ：点数を見る前に、何を測ったかを書く
MentalHealthBenchを読むときの要点は、専門家による基準設計、自動採点、実際の健康への影響を分けることです。今回は、以前未特定だった配布先からデータを取得し、件数まで確認できました。まずは手元の評価メモに「入力は何か」「誰がどう採点するか」「何までは言えないか」の3行を追加してみてください。
出典
2026年10月31日確認。論文第2節、第8節、配布ZIPのREADMEを照合しました。モデル順位や治療効果の検証を行った記事ではありません。
- 公式発表（2026年9月23日）：https://openai.com/index/introducing-mentalhealthbench/
- 論文『MentalHealthBench: An Expert-Informed Benchmark of AI Capabilities in Realistic Mental Health Conversations』：https://cdn.openai.com/ctf-cdn/MentalHealthBench_A_Comprehensive_Benchmark_of_AI_Capabilities_in_Realistic_Mental_Health_Conversations.pdf
- 公式配布ZIP（論文第8節）：https://cdn.openai.com/ctf-cdn/OAI_MentalHealthBench.zip
一般の業務文章を元資料と照合したい方へ
本記事とは別に、私の「AI文章の数字・記述のズレを元資料と照合します」では、一般の業務文章とお手元の資料の対応を整理します。医療・健康効果の表現や専門判断、ベンチマークの採点、外部調査は対象外です。
※本文と独自図版の制作にAIを補助的に使用し、一次資料と取得データを照合しています。