「成功率12%」「着手率100%」。同じモデルの記事に並ぶ数字でも、測っていることは違います。AIの評価を仕事で使うなら、まず分母と条件をそろえて読みたいところです。
初稿は2026年9月30日。11月3日に一次資料を再確認し、9月の評価を振り返る記事として編集しました。 モデルの新規公開や、現在の全モデル中の順位を知らせる速報ではありません。画像は初稿で制作した概念イラスト・説明用図解です。
1. 能力を測る試験と、拒否を測る試験を分ける
Anthropicは9月29日、GLM-5.3のサイバー能力と安全対策の評価を公表しました。隔離環境のExploitBenchで、動くエンドツーエンドの攻撃コードに至った試行は50/410、比較対象のClaude Mythos Previewは56/410だったという報告です。能力比較のClaudeでは安全対策を無効にした条件が含まれます。[1]
別の安全性試験では、条件を変えたときに有害な依頼へ着手する割合が0%から64〜100%へ変わったと報告しています。ただし各条件50試行の模擬環境で、生成コードは実行されていません。この着手率を、現実の侵害成功率へ置き換えることはできません。 [1]
Anthropicは競合製品を持つ評価者です。自社と他社の比較結果は、その立場と試験条件を含めて読みます。本記事ではモデルや攻撃コードを実行していません。
2. 同じExploitBenchでも採点方法を確かめる
NIST傘下のCAISIは9月17日、GLM-5.3の能力評価を公表しました。「評価済みの公開ウェイトモデルで最も高い」という評価や、米国の最先端との差が約4か月という説明は、その時点の評価対象と合成指標についてのものです。[2]
CAISIのExploitBenchは41課題、各課題で3試行中の最良結果を16点満点で採点する方式で、GLM-5.3は平均9.8/16でした。これは前節の「410試行中に最上位の結果へ到達した回数」と同じ集計ではありません。米国側の比較には限定アクセスのモデルや、安全対策を無効にした条件も含まれます。[2]
CAISIは別組織による能力評価です。Anthropicの安全対策試験をそのまま独立再現したものではありません。 「別機関も調べた」という一文で、すべての数値が二重に確かめられたように扱わないことが大切です。
3. 数字を読み替えないための小さな確認例
以下は公開資料の整数を割合へ直すだけのPython例です。モデルやネットワークを呼ばず、ローカルで計算できます。
reports = [
("GLM-5.3", 50, 410),
("Mythos Preview", 56, 410),
]
for name, successes, attempts in reports:
print(f"{name}: {successes}/{attempts} = {100 * successes / attempts:.2f}%")
print(f"difference_pp={100 * (56 - 50) / 410:.2f}")
11月3日の実行結果：
GLM-5.3: 50/410 = 12.20%
Mythos Preview: 56/410 = 13.66%
difference_pp=1.46
これは割合と差の計算確認です。モデルの性能を再現した実験でも、差の統計的な有意性を検定した結果でもありません。また、410試行を410種類の脆弱性と読み替えないよう、表やメモでも単位を残します。
別の評価記事でも、次の形で記録すると比較の前提を見返しやすくなります。これは本記事による整理用のひな形です。
| 記録する項目 | 記入例・確認内容 |
|---|---|
| 出典と日付 | 発表日と自分の確認日を別々に書く |
| 対象 | モデル名、版、実行環境 |
| 測定対象 | 能力、拒否、着手、完了のどれか |
| 分母と単位 | 課題数なのか、試行数なのか |
| 集計方法 | 全試行、最良試行、段階得点など |
| 比較条件 | ツール、試行回数、安全対策、利用可能範囲 |
| 確認範囲 | 提供元報告、別機関評価、自分の再現を分ける |
たとえば、文章作成AIを比べるときも「原稿を作り始めた割合」と「根拠を確認して提出できた割合」は別です。評価名が似ていても、この表が違えば一列のランキングへまとめないようにします。
モデルの外側にも確認点を置く
ここからは運用上の提案です。AIへ継続する仕事を渡すときは、「読める資料」「変更してよい対象」「人へ戻す操作」「完成を確かめる記録」を明示します。モデルが拒否すると期待するだけで、外部送信や削除の権限まで広げる必要はありません。
確認役には、AIの説明だけでなく実際の成果物や状態を渡します。これは本記事の設計案であり、特定の運用が安全だと実証したものではありません。
まとめ
能力評価、着手率、実際の成功は別の測定です。今日できる一歩は、気になったAI評価の数字を一つ選び、「何件の、どんな条件の結果か」を元資料へ戻って書き添えること。分からない条件は、推測せず未確認として残します。
出典
いずれも2026年11月3日確認。
- Anthropic：GLM-5.3 and the spread of advanced cyber capabilities（9月29日）
- NIST / CAISI：CAISI’s Assessment of Z.ai’s GLM-5.3 Cyber Capabilities（9月17日）
AI文章と手元資料の食い違いを整理したい方へ
数字や条件を文章へ移すとき、元資料との対応を確認する相談先です。AI文章の数字・記述のズレを元資料と照合するサービス。手元資料1点とAI文章を照合する範囲で、元資料の真偽保証、資料外の調査、セキュリティ監査を行うサービスではありません。