---
title: "新しいオープンウェイトのベンチマーク主張を検証する5つのチェック：Ripple-65B を例に"
tags:
- AI
- LLM
- ベンチマーク
- Python
- オープンウェイト
private: false
この記事でやること
新しいオープンウェイトのモデルが出るたびに、「SOTA」「他モデルより小さいのに同等」という主張が流れます。Ricursive Intelligence の Ripple-65B Preview も、その一例です※1。同社は、TerminalBench 2.1 で 80.52 を出し、米国のオープンウェイトで最高と主張しています。
この記事は、こうした主張を読むときのチェックを5つにまとめ、Ripple-65B を例に当てはめます。Zenn の記事（設計と主張の整理）の実践版です。
先に確認範囲を書きます。モデルの重みは取得しておらず、動作確認は未実施です。実際に実行したのは、公表値から差を計算する Python スクリプトだけです（Python 3.11.2、2026-11-06）。数値はすべて公式ページの記載です。
チェック1：何と何を比べているか
公式ページの比較表は次のとおりです※1。
| モデル | パラメータ | TerminalBench 2.1 |
|---|---|---|
| Ripple-65B Preview | 65B | 80.52 |
| Reflection Beam | 501B | 80.1 |
| Meta Muse Spark Open | 816B | 76.4 |
| Thinking Machines Inkling | 975B | 63.8 |
| NVIDIA Nemotron 3 Ultra | 550B | 56.4 |
確認するのは次の3点です。
- 比較対象が、同じ期間に公開された、同じ種類のモデルか。
- パラメータ数が、総数か活性数か。
- 比較の対象から外れている有力なモデルがないか。
Ripple の場合、括弧内の数字が総パラメータか活性パラメータかが、ページに書かれていません。MoE のモデルが混じっていれば、規模の比較は成り立ちません。「米国のオープンウェイト」という限定も、比較の範囲を狭めています。
チェック2：差は誤差の範囲か
Ripple（80.52）と Beam（80.1）の差は 0.42 ポイントです。この差を判断するため、二項分布で標準誤差を見積もる小さなスクリプトを書きました。
# Python 3.11.2 / 標準ライブラリのみ
rows = {
"Ripple-65B Preview": (65, 80.52),
"Reflection Beam": (501, 80.1),
"Meta Muse Spark Open": (816, 76.4),
"Thinking Machines Inkling": (975, 63.8),
"NVIDIA Nemotron 3 Ultra": (550, 56.4),
}
base_p, base_s = rows["Ripple-65B Preview"]
print(f"{'model':28}{'params(B)':>10}{'score':>8}{'size x':>8}{'score diff':>11}")
for n, (p, s) in rows.items():
print(f"{n:28}{p:>10}{s:>8.2f}{p/base_p:>8.1f}{s-base_s:>11.2f}")
import math
for n_tasks in (50, 100, 200):
p = 0.8052
se = math.sqrt(p*(1-p)/n_tasks)*100
print(f"タスク数{n_tasks}の場合の標準誤差 ≒ {se:.1f}pt")
実行結果です。
model params(B) score size x score diff
Ripple-65B Preview 65 80.52 1.0 0.00
Reflection Beam 501 80.10 7.7 -0.42
Meta Muse Spark Open 816 76.40 12.6 -4.12
Thinking Machines Inkling 975 63.80 15.0 -16.72
NVIDIA Nemotron 3 Ultra 550 56.40 8.5 -24.12
タスク数50の場合の標準誤差 ≒ 5.6pt
タスク数100の場合の標準誤差 ≒ 4.0pt
タスク数200の場合の標準誤差 ≒ 2.8pt
注意点が2つあります。
- タスク数 50・100・200 は、筆者の仮定です。TerminalBench 2.1 の実際の件数は、確認していません。
- 実際の評価は、同じタスクを複数のモデルで解く対応のある比較です。単純な二項分布の近似より、差の誤差は小さくなる可能性があります。このスクリプトは、あくまで目安です。
それでも、タスク数が数百以下であれば、0.42 ポイントの差は「同等」と読むのが無難です。差の有意性を言うには、試行ごとの結果の分散が必要です。公式ページは、評価の試行回数を書いていません。
チェック3：評価の設定は書かれているか
エージェント型のベンチマークは、設定で結果が大きく変わります。確認する項目は次のとおりです。
- 使ったハーネス（ツールの与え方）
- 時間制限・ステップ数の上限
- 試行回数と、pass@1 か pass@k か
- 比較対象を、同じ設定で動かしたか
Ripple のページは、TerminalBench 2.1 の評価設定を説明していません※1。この項目が空欄の場合、他社の公表値と同じ土俵で比べられているかが判断できません。
チェック4：根拠は複数あるか
Ripple の主張は、単一のベンチマーク（TerminalBench 2.1）に基づいています※1。汎用モデルとして評価するには、少なくとも次のような別の軸が欲しいところです。
- 別のコーディング系ベンチマーク（バグ修正、リポジトリ規模のタスク）
- 汎用の知識・推論のベンチマーク
- 長いコンテキストの評価（同社は最大 1M と書いています）
今回確認できた範囲では、これらの数値は載っていませんでした。
チェック5：誰が測ったか
公式ページの数字は、すべて自社の公表値です。第三者による再現は、確認できていません。コストの数字も同様で、R&D の費用 3,200 万ドルと、「前の最高水準の約 10 分の 1」という比較は、自社推定です※1。比較対象のコストは、報道を基にしています。
第三者の再現を待つ間にできるのは、重みを取得して、自分のタスクで測ることです。ページによれば、Hugging Face、Together AI、GMI Cloud、OpenRouter、Fireworks で提供されています※1。API で試すなら、OpenRouter などの既存の経路が使えます。ただし、筆者は試していません。
5つのチェックを Ripple に当てはめた結果
| チェック | 状況 |
|---|---|
| 1. 比較の対象 | パラメータが総数か活性数か不明。範囲が「米国のオープンウェイト」に限定 |
| 2. 差の大きさ | Beam との差 0.42pt は、タスク数次第で誤差に埋もれる |
| 3. 評価設定 | ページに記載なし |
| 4. 根拠の数 | 単一のベンチマーク |
| 5. 測定者 | 自社の公表値。第三者の再現は未確認 |
これは Ripple が悪いモデルだという意味ではありません。判断に必要な情報が、まだ出そろっていないということです。
設計の特徴（参考）
公式ページが挙げる設計の特徴も、簡単に書いておきます※1。
- dense Transformer、d_model 5120、80 層という、薄くて深い構成
- 12 兆トークンで事前学習、最大 1M のコンテキスト
- SWA の比率を上げ、窓を小さくする
- ゲート付き注意、global NoPE、value residual、FFN の活性クリップ
- MFU 40%、独自カーネルなし、量子化なし
ライセンスは、ページに記載がありません。商用利用を考える場合は、重みの配布ページで確認してください。
ハマりそうな点
- 「Preview」と明記されています。完成版で数字が変わる可能性があります。
- ライセンス不明のまま、プロダクトに組み込むのは避けたほうがよいです。
- 提供先ごとに、量子化やサンプリングの設定が異なる可能性があります。公表値と同じ結果が出るとは限りません。この点は、確認していません。
評価
新しいモデルの主張を読むときは、5つのチェックを順に当てはめると、「何が分かっていて、何が空欄か」が整理できます。Ripple-65B は、空欄がまだ多い段階です。注目はしつつ、本番の判断は、自分のタスクでの測定を待ってからが妥当です。
まとめ
- ベンチマークの主張は、比較の対象・差の大きさ・評価設定・根拠の数・測定者の5点で確認する。
- Ripple-65B の 0.42 ポイントの差は、タスク数次第で誤差に埋もれる可能性がある。
- 評価設定の記載がなく、根拠は単一のベンチマークで、自社の公表値である。
- 本記事は、重みの取得と動作確認は未実施で、差の計算だけを実行した。
※本記事の記載内容は筆者個人の見解であり、所属する会社や組織の立場や方針とは一切関係ありません。
筆者情報
【Tomcat-zhou】｜AI/AX/AIセキュリティ専門家
AI戦略洞察、AI駆動開発の方法論設計と現場で回る仕組みづくりをしています。
noteで戦略洞察 / Zenn・Qiitaで技術・方法論を書いています。
AIセキュリティ・AIコンサル・AIエージェント開発・AI活用・AI駆動開発教育、AI人材育成サービスを一体で提供。
X: @ZY20240528
LinkedIn: Tomcat-zhou
Facebook: zhou yi
note: Tomcat-zhou
zenn: Tomcat-zhou
参考資料
タグ
AI, LLM, ベンチマーク, Python, オープンウェイト, 評価