LLM-jp-4/4.1の8B・33B・A3BとQwen3.8-27BをBF16・vLLMで比較した
注意: 本記事の約9割は、gpt-5.6-solによって執筆されています。
結果概要
結局日本語LLMって何がいいの?という疑問が生じたため、前回の3モデルにLLM-jp-4.1の3モデルを追加し、同一GPUクラス上で比較した。
- LLM-jp-4 33B Dense Thinking
- LLM-jp-4 32B-A3B MoE Thinking
- Qwen3.8-27B
- LLM-jp-4.1 8B Dense Thinking
- LLM-jp-4.1 32B-A3B MoE Thinking
- LLM-jp-4.1 33B Dense Thinking
@h-nabata氏によるLLM-jp-4 33BとQwen3.8-27Bの比較のChallenge問題の再実験と、うちの研究室的に重要な日本語の医学・臨床問題と、個人的な趣味による歴史知識論述を加えた。
各問題はThinking LowとMediumの両方で実行している。
まず、LowとMediumを合わせた結果を示す。スコアは各track内で0〜100に正規化した値である。
| モデル | 臨床 | 医学的異常検知 | 歴史論述 | Challenge |
|---|---|---|---|---|
| LLM-jp-4 33B Dense | 58.2 | 59.7 | 37.5† | 80.3 |
| LLM-jp-4 32B-A3B | 55.7 | 51.4 | 38.3† | 81.1 |
| LLM-jp-4.1 8B Dense | 59.5 | 55.6 | 35.8‡ | 80.7 |
| LLM-jp-4.1 32B-A3B | 62.1 | 58.3 | 37.5‡ | 86.7 |
| LLM-jp-4.1 33B Dense | 69.5 | 65.3 | 41.7‡ | 88.9 |
| Qwen3.8-27B | 73.1 | 75.0 | 43.3† | 98.1 |
† 旧3モデルはGPT-5.4、‡ LLM-jp-4.1系はGPT-6 Lunaによる採点であり、歴史列は世代間で直接比較できない。
自動採点の3 trackではQwenが最も高かった。LLM-jp内では4.1 33Bが最も高く、旧33Bに対して臨床約11.2、異常検知約5.6、Challenge約8.6 point改善した。4.1 8Bも臨床とChallengeでは旧33Bとほぼ同水準だった。
速度はA3Bが最も高く、旧A3Bが158.5 token/s、4.1 A3Bが159.0 token/sだった。4.1 8Bは88.4 token/s、Qwenは71.2 token/s、33B Denseは新旧とも約21 token/sだった。
ただし、4つのtrackは問題数も採点法も異なる上、Thinkingモデルであるが、複数回の実験をおこなっているわけではないので参考程度に。
目的
出発点は、@h-nabata氏によるLLM-jp-4 33BとQwen3.8-27Bの比較だった。同記事は、量子化モデルをllama.cppで比較している。
この設計は非常に参考になる一方、こちらの環境では中規模モデルをBF16のまま単一GPUへ載せられる。そこで、次の点を変えて評価することにした。
- GGUF量子化ではなくBF16で実行する
- バックエンドをvLLMへ統一する
- 比較コンテキスト上限を65,536 tokenへ広げる
- QwenのMTPを有効にする
- temperature=0の制御実験ではなく、通常利用に近いモデル別設定を使う
- 汎用問題に加え、研究室で関心のある臨床長文と歴史論述を測る
- 品質だけでなく、問題種別ごとのwall time、TTFT、出力token/sも記録する
タスク
今回使用した問題、モデル出力、採点結果はGitHubのinsidebenchmarkで公開している。
引用したタスク:h-nabata Challenge
challenge_v1.1.0の80問を使用した。問題文・metadataはCC BY 4.0、元データのSHA-256は次のとおりである。
0c18e8ae51d88a441ecdff33df4e071fee3bdb817481ec1694365239d3da9546
10カテゴリ各8問で構成される。
| カテゴリ | 問題数 |
|---|---|
| 高度日本語読解 | 8 |
| 分析的推論 | 8 |
| 数学・統計 | 8 |
| コーディング | 8 |
| 物理・工学 | 8 |
| 化学・材料 | 8 |
| 生命科学・情報科学 | 8 |
| 人文・社会・経済 | 8 |
| Hallucination耐性 | 8 |
| 指示追従 | 8 |
採点はnumeric 35問、choice 21問、JSON完全一致16問、Python unit test 8問である。元プロジェクトのMITライセンスのgraderと互換になるよう採点処理を実装した。
新たに用意したもの
臨床長文
J-ClinicalBenchの、要約用に加工されたデータではなく、raw Progress Note(PN)と対応するraw Discharge Summary(DS)を使用した。J-ClinicalBenchの概要と原論文はACL Anthologyから確認できる。
5入院エピソードを選び、次のタスクを作成した。
- 構造化抽出:10問
- PN–DS根拠監査:10問
- 医学的異常検知:12問
構造化抽出では、指定された単一PNから以下を統一schemaで抽出する。
- 病名と確実性
- 薬剤名、投与量、単位、頻度、経路、開始・中止などのaction
- 体温、脈拍、血圧、呼吸数、SpO2、酸素投与
- 処置・手術名と実施状況
- 根拠となる文書・行番号
主スコアは、対象文書ID、病名F1、薬剤F1、バイタル精度、処置F1の平均である。文書にない値を医学知識で補うのではなく、nullとして扱わせた。
例えばSTR-005では、次のPNを入力する。実際の問題では文書全体を渡しているが、ここでは採点対象の箇所だけを抜粋する。
L4: O 体温38.1℃。脈拍128/分、整。血圧124/86mmHg。呼吸数18/分。
L10: ...総胆管結石性胆管炎が疑われる。早急にドレナージ治療をすることが望ましい。
L11: 本日入院後にERCPを行う。ABPC/SBTも開始する。
問題は「指定文書PN p1から、明示された病名、薬剤・輸液、バイタルサイン、処置を統一schemaで抽出してください」とした。この例の正解は次のようになる。
{
"document_id": "PN p1",
"diagnoses": [
{"name": "総胆管結石性胆管炎", "certainty": "suspected"}
],
"medications": [
{"name": "ABPC/SBT", "dose_value": null, "dose_unit": null,
"frequency": null, "route": null, "action": "start"}
],
"vital_signs": {
"temperature_c": 38.1,
"heart_rate_per_min": 128,
"blood_pressure_systolic_mmhg": 124,
"blood_pressure_diastolic_mmhg": 86,
"respiratory_rate_per_min": 18,
"spo2_percent": null,
"oxygen_support": null
},
"procedures": [
{"name": "ERCP", "status": "planned"}
]
}
PN–DS監査では、DS中の主張が複数のPNによって支持されるかを、次の5ラベルから選ばせた。各ラベル2問、計10問である。
SUPPORTEDPARTIALLY_SUPPORTEDCONTRADICTEDNOT_DOCUMENTEDTEMPORALLY_MISLEADING
このタスクは医学知識よりも、長文中の根拠照合と時間関係を測る。
例えばAUD-001の問題文は次の通りである。
DSの「入院4日目にはCa 9.6mg/dLへ改善し退院可能と判断」という記載はPNに支持されますか。
対応するPNにはCa9.6、点滴終了、明日退院と連続して記録されているため、正解はSUPPORTEDとなる。モデルには結論だけでなく、p4:L15からp4:L17までの根拠行も出力させた。
一方、異常検知は医学知識を要求する。raw PNの一部を一箇所だけ合成的に変更し、モデルには変更後のPNだけを提示した。元のDSや置換前文字列は見せていない。
- 抗菌薬が必要な箇所を抗ウイルス薬へ変更する
- 疾患と治療クラスを不整合にする
- 外傷部位と損傷臓器を入れ替える
- 診断と検査所見を不整合にする
- 投与量・頻度・経路を不自然にする
- 有害事象後の対応を不整合にする
例えばANOM-INF-001では、細菌性尿路感染症のPNにある投薬部分だけを次のように変更した。モデルには置換前の薬剤名を見せていない。
PN p1:L7 尿沈渣に白血球100以上/HPF
PN p1:L12 尿路感染症が疑われる
PN p1:L14 尿培養と血液培養採取後にアシクロビルを開始する
PN p3:L9 尿培養からは、大腸菌が検出された
期待する回答は、PN p1:L14を異常行、pathogen_treatment_mismatchを異常カテゴリとして検出し、「大腸菌を対象とする抗菌薬」が必要だと指摘することである。単に不審な記述を挙げるだけでなく、所見、培養結果、薬剤クラスを結びつけられるかを見る。
合成異常6問に加え、無改変のnegative controlを6問入れた。主スコアは、異常の有無、異常行F1、異常カテゴリの正解率の平均である。
問題作成の再現性を残すため、症例ごとにPN・DSと共通instructionをサブエージェントへ渡して候補を作成し、採否を別に記録した。使用したPrompt、担当症例、採用候補、棄却候補、raw行のhashも保存している。ただし、今回のgoldはCodexで作成したものであり、臨床専門家による再annotation前のpilotである。
当初はDisease NERも作成したが、構造化抽出と測る能力が重なるため、今回の標準suiteからは外した。
歴史知識論述
資料を提示せず、学習済みの歴史知識を論述させる6問を作成した。推論パズルではなく、背景、制度、因果関係、地域差、史料批判をどこまで具体的に説明できるかを見る。
- 中世日本の訴訟・自力救済と喧嘩両成敗法
- 大和川の旧流路、1704年の付替えと河内・和泉への影響
- 2010–11年アラブ蜂起とリビア・シリアの帰結
- 欠・缺と芸・藝――新字体による別字の合流
- 奈良・熊野の寺社景観――神仏習合から神仏分離へ
- 後藤新平、台湾阿片専売、星製薬と大陸政策の史料批判
例えば新字体の問題HIST-KNOW-004は次のようにした。
現代日本語では「欠陥」「芸術」と書くが、戦前の標準的な印刷字体では「缺陷」「藝術」と書かれた。一方、簡略化以前から「欠」と「芸」という字そのものも存在し、「缺」「藝」とは別の字義・字音を持っていた。缺→欠、藝→芸という字体整理によって、なぜ現代の「欠」にケツ、「芸」にゲイという用法が生じたように見えるのか。四字それぞれの本来の読みと意味、戦後の当用漢字・字体整理の経緯と目的を説明し、この二例が単なる画数削減ではなく情報の合流を伴うこと、その利点と歴史資料・固有名詞・辞書・検索等で生じる注意点を論じなさい。
この問題では、次の10点をそれぞれ0/1で採点する。
-
缺はケツで、欠ける・不足するという意味 -
欠は本来ケンで、口を開く・あくびという意味 -
藝はゲイで、わざ・技能という意味 -
芸は本来ウンで、香草または草を刈るという意味 -
缺→欠、藝→芸で本来の別字が同じ字形へ合流したこと - 1946年の当用漢字表と1949年の当用漢字字体表の区別
- 読み書きの平易化や字体標準化という目的
- ケツ・ゲイは新造された読みではなく、元の字音が新字体へ移ったこと
- 新字体から旧来の字種へ一意に戻せないという情報損失
- 学習・印刷上の利点と、歴史資料・人名・検索などでの不利益
各問には、その問題専用の内容基準を10個用意した。採点は各基準を独立に0/1判定し、候補回答に正確かつ明示的に書かれている場合だけ1点とした。文章の巧拙や基準外の知識は加点しない。
旧LLM-jp-4とQwenの採点にはgpt-5.4-2026-03-05、LLM-jp-4.1系にはgpt-6-lunaを使用し、どちらもreasoning effort Highとした。候補モデル名と候補側のLow/MediumはJudgeへ知らせず、Structured Outputsで10項目を採点した。APIではstore=falseとしている。Judgeが異なるため、歴史スコアは旧3モデル内、4.1系3モデル内で比較する。
問題数
| Track | ユニーク問題数 | Low/Medium込み・1モデル当たり |
|---|---|---|
| 臨床構造化+PN–DS監査 | 20 | 40 |
| 医学的異常検知 | 12 | 24 |
| 歴史知識論述 | 6 | 12 |
| Challenge | 80 | 160 |
| 合計 | 118 | 236 |
6モデルで1,416回の候補推論を行い、歴史についてはさらに72回のJudge評価を行った。
実験設定
モデル
| モデル | 構造 | 総parameter | active parameter | native context | BF16 weight |
|---|---|---|---|---|---|
| LLM-jp-4 33B Thinking | Dense | 33.22B | 約33B | 65,536 | 61.88 GiB |
| LLM-jp-4 32B-A3B Thinking | MoE | 32.14B | 3.83B | 65,536 | 59.87 GiB |
| Qwen3.8-27B | Dense hybrid | 27B | 約27B | 262,144 | 51.75 GiB |
| LLM-jp-4.1 8B Thinking | Dense | 8.59B | 約8.6B | 65,536 | 16.00 GiB |
| LLM-jp-4.1 32B-A3B Thinking | MoE | 32.14B | 3.83B | 65,536 | 59.87 GiB |
| LLM-jp-4.1 33B Thinking | Dense | 33.22B | 約33B | 65,536 | 61.88 GiB |
LLM-jp-4/4.1の33B Denseは64層、32B-A3Bは128 routed experts中8 expertsをactivateする構成である。4.1 8Bは32層のDenseモデルである。Qwen3.8-27BはGated DeltaNetとGated Attentionを組み合わせた64層のhybrid構成で、MTPも学習されている。
実行環境
| 項目 | 設定 |
|---|---|
| GPU | NVIDIA RTX PRO 6000 Blackwell Max-Q 96GB |
| 利用GPU | 各モデル1GPU、tensor parallel=1 |
| NVIDIA driver | 580.95.05 |
| Python | 3.12.12 |
| vLLM | 旧3モデル: 0.26.1rc1.dev1231+g7a9993878 / 4.1系: 0.30.1rc1.dev299+g70ae0b743 |
| Transformers | 旧3モデル: 5.15.1 / 4.1系: 5.17.0 |
| PyTorch | 2.13.0+cu130 |
| weights / KV cache | BF16 / BF16 |
| common context上限 | 65,536 token |
| max concurrent sequences | 1 |
| prefix cache | ON |
| warmup | 1 request |
| seed / repeat | 42 / 各条件1回 |
DenseとQwenは別々の同型GPU上で並行実行した。A3Bも同型GPUで実行している。同一GPU上で複数モデルを同時実行してはいない。
推論設定
今回はモデルの挙動だけを切り分けるtemperature=0の実験ではなく、「通常利用する設定」で比較した。
| モデル | temperature | top_p | top_k | MTP |
|---|---|---|---|---|
| LLM-jp-4 33B | 1.0 | 1.0 | 0 | なし |
| LLM-jp-4 32B-A3B | 1.0 | 1.0 | 0 | なし |
| LLM-jp-4.1 8B | 1.0 | 1.0 | 0 | なし |
| LLM-jp-4.1 32B-A3B | 1.0 | 1.0 | 0 | なし |
| LLM-jp-4.1 33B | 1.0 | 1.0 | 0 | なし |
| Qwen3.8-27B | 1.0 | 0.95 | 20 | 3 speculative tokens |
LLM-jp-4/4.1にはmodel card/cookbook上で固有の推奨sampling値が示されていないため、vLLM API既定値を明示した。Qwenはmodel cardのThinking推奨値を使った。全モデルでmin_p=0.0、presence/frequency penalty=0.0、repetition penalty=1.0である。
LLM-jp-4/4.1のHarmony出力は公式cookbookに沿ったvLLM reasoning parser pluginで分離し、QwenにはvLLMのqwen3 parserを使った。
ThinkingはLowとMediumを全問で比較した。Highは予備実験で生成長と形式遵守の影響を分離しにくかったため、今回の主比較には含めていない。
結果
Thinking LowとMedium
| モデル | 臨床 Low→Medium | 異常検知 Low→Medium | 歴史 Low→Medium | Challenge Low→Medium |
|---|---|---|---|---|
| LLM-jp-4 33B | 62.5 → 54.0 | 61.1 → 58.3 | 38.3 → 36.7† | 76.3 → 84.4 |
| LLM-jp-4 A3B | 50.4 → 61.1 | 44.4 → 58.3 | 41.7 → 35.0† | 79.4 → 82.8 |
| LLM-jp-4.1 8B | 54.0 → 65.0 | 52.8 → 58.3 | 36.7 → 35.0‡ | 77.2 → 84.2 |
| LLM-jp-4.1 A3B | 58.2 → 66.1 | 47.2 → 69.4 | 41.7 → 33.3‡ | 84.7 → 88.8 |
| LLM-jp-4.1 33B | 67.0 → 72.0 | 58.3 → 72.2 | 48.3 → 35.0‡ | 85.3 → 92.5 |
| Qwen3.8 | 74.1 → 72.1 | 69.4 → 80.6 | 38.3 → 48.3† | 98.8 → 97.5 |
† GPT-5.4採点、‡ GPT-6 Luna採点。
- 4.1系ではMediumにより臨床、異常検知、Challengeがすべて改善した
- 歴史は4.1の3モデルすべてでMediumの方が低かった
- Qwenでは異常検知と歴史が改善した
- QwenのChallengeはLowの時点でほぼ飽和しており、Mediumの効果を評価できない
reasoning effortはモデル単体の固定ランキングではなく、タスクとの組み合わせで選ぶ必要がありそうだ。
臨床長文
| モデル | 構造化 Low | 構造化 Medium | PN–DS監査 Low | PN–DS監査 Medium |
|---|---|---|---|---|
| LLM-jp-4 33B | 65.0 | 68.0 | 60.0 | 40.0 |
| LLM-jp-4 A3B | 60.7 | 62.1 | 40.0 | 60.0 |
| Qwen3.8 | 78.2 | 74.2 | 70.0 | 70.0 |
| LLM-jp-4.1 8B | 57.9 | 70.0 | 50.0 | 60.0 |
| LLM-jp-4.1 A3B | 56.3 | 62.1 | 60.0 | 70.0 |
| LLM-jp-4.1 33B | 63.9 | 73.9 | 70.0 | 70.0 |
構造化抽出はQwenが最も高く、PN–DS監査はQwenと4.1 A3B・33Bが70.0で並んだ。
臨床trackでは、推論自体は終了していても、最終回答が期待するJSONにならない例があった。これを0点としている。
| モデル | JSON形式不正 |
|---|---|
| LLM-jp-4 33B | 3 |
| LLM-jp-4 A3B | 2 |
| Qwen3.8 | 0 |
| LLM-jp-4.1 8B | 1 |
| LLM-jp-4.1 A3B | 0 |
| LLM-jp-4.1 33B | 0 |
実際には、フォーマットエラーが起きれば差し戻しすればいいだけの話ではあるが、今回はそのようなミスがどのくらい起きているか記録することにした。
医学的異常検知
| モデル・設定 | 異常症例感度 | 正常対照特異度 | 異常行F1 | 異常分類精度 |
|---|---|---|---|---|
| LLM-jp-4 33B Low | 66.7 | 83.3 | 58.3 | 50.0 |
| LLM-jp-4 33B Medium | 83.3 | 66.7 | 50.0 | 50.0 |
| LLM-jp-4 A3B Low | 16.7 | 83.3 | 41.7 | 41.7 |
| LLM-jp-4 A3B Medium | 66.7 | 66.7 | 50.0 | 58.3 |
| Qwen Low | 100.0 | 50.0 | 66.7 | 66.7 |
| Qwen Medium | 83.3 | 83.3 | 83.3 | 75.0 |
| LLM-jp-4.1 8B Low | 50.0 | 83.3 | 41.7 | 50.0 |
| LLM-jp-4.1 8B Medium | 50.0 | 83.3 | 50.0 | 58.3 |
| LLM-jp-4.1 A3B Low | 16.7 | 83.3 | 50.0 | 41.7 |
| LLM-jp-4.1 A3B Medium | 66.7 | 83.3 | 66.7 | 66.7 |
| LLM-jp-4.1 33B Low | 66.7 | 66.7 | 50.0 | 58.3 |
| LLM-jp-4.1 33B Medium | 83.3 | 83.3 | 66.7 | 66.7 |
Qwen Lowは合成異常6件をすべて検出した一方、正常記録にも異常を見つけすぎた。Mediumでは感度と特異度のバランスが改善している。
A3B Lowは新旧とも異常症例の感度が16.7%だったが、Mediumでは66.7%まで上がった。4.1 33B Mediumは感度と特異度がともに83.3%で、LLM-jp内では最もバランスがよかった。
ただし、各設定は陽性6件・陰性6件だけである。1件の差が8.3 pointに相当するため、傾向を見るpilot以上の解釈はできない。
歴史知識論述
各問10点、各設定6問なのでLow/Mediumそれぞれ60点満点である。Judgeが異なるため、旧3モデルと4.1系を分けて示す。
| Judge | モデル | Low / 60 | Medium / 60 | 合計 / 120 |
|---|---|---|---|---|
| GPT-5.4 | LLM-jp-4 33B | 23 | 22 | 45 |
| GPT-5.4 | LLM-jp-4 A3B | 25 | 21 | 46 |
| GPT-5.4 | Qwen3.8 | 23 | 29 | 52 |
| GPT-6 Luna | LLM-jp-4.1 8B | 22 | 21 | 43 |
| GPT-6 Luna | LLM-jp-4.1 A3B | 25 | 20 | 45 |
| GPT-6 Luna | LLM-jp-4.1 33B | 29 | 21 | 50 |
問題別のLow/Medium平均点も、Judgeが共通する群の中で比較する。
| 問題 | LLM-jp-4 33B | LLM-jp-4 A3B | Qwen |
|---|---|---|---|
| 自力救済と喧嘩両成敗 | 3.5 | 4.0 | 4.0 |
| 大和川付替え | 3.5 | 1.5 | 4.0 |
| アラブ蜂起・リビア・シリア | 5.0 | 4.5 | 6.5 |
| 欠・缺と芸・藝 | 3.0 | 4.5 | 4.0 |
| 神仏習合と神仏分離 | 3.0 | 5.5 | 5.0 |
| 台湾阿片・星製薬 | 4.5 | 3.0 | 2.5 |
| 問題 | LLM-jp-4.1 8B | LLM-jp-4.1 A3B | LLM-jp-4.1 33B |
|---|---|---|---|
| 自力救済と喧嘩両成敗 | 4.0 | 4.0 | 4.5 |
| 大和川付替え | 1.5 | 2.5 | 2.5 |
| アラブ蜂起・リビア・シリア | 5.0 | 5.0 | 6.0 |
| 欠・缺と芸・藝 | 2.5 | 2.5 | 3.0 |
| 神仏習合と神仏分離 | 5.5 | 5.5 | 5.0 |
| 台湾阿片・星製薬 | 3.0 | 3.0 | 4.0 |
単純なモデル序列というより、学習済み知識の分布が見えている。
スコアが全体に低いのは、論述試験のような形式で、各問10個の論点を明示的に満たしたかだけを数えているためでもある。
少しマニアックな知識問題は持っていない可能性が高い。
Challenge
| モデル | Low | Medium | Low+Medium |
|---|---|---|---|
| LLM-jp-4 33B | 76.3 | 84.4 | 80.3 |
| LLM-jp-4 A3B | 79.4 | 82.8 | 81.1 |
| Qwen3.8 | 98.8 | 97.5 | 98.1 |
| LLM-jp-4.1 8B | 77.2 | 84.2 | 80.7 |
| LLM-jp-4.1 A3B | 84.7 | 88.8 | 86.7 |
| LLM-jp-4.1 33B | 85.3 | 92.5 | 88.9 |
QwenはLowで79/80、Mediumで78/80相当だった。LLM-jp同士の差を見るには使えるが、Qwen以上のモデルを比較するtrackとしては難度が不足している。
オリジナルもGPTに作らせた問題のようなので、サチってしまっている可能性がある。
4.1 33Bは旧33BよりLowで9.0、Mediumで8.1 point高かった。4.1 A3Bも旧A3BをLowで5.3、Mediumで6.0 point上回った。一方、4.1 8Bは旧33Bとほぼ同水準だった。
実行時間
236件すべてを合わせたclient計測値である。wall time合計は、各リクエストを逐次実行した場合の合計で、server起動時間は含まない。
| モデル | 出力token/s中央値 | wall time中央値 | wall time合計 | 出力token合計 |
|---|---|---|---|---|
| LLM-jp-4 33B | 20.9 | 21.9秒 | 2時間21分 | 172,626 |
| LLM-jp-4 A3B | 158.5 | 3.0秒 | 17分6秒 | 158,433 |
| Qwen3.8 | 71.2 | 9.7秒 | 1時間48分 | 427,360 |
| LLM-jp-4.1 8B | 88.4 | 5.0秒 | 38分17秒 | 198,166 |
| LLM-jp-4.1 A3B | 159.0 | 3.1秒 | 19分4秒 | 177,355 |
| LLM-jp-4.1 33B | 21.4 | 18.4秒 | 1時間59分20秒 | 150,295 |
問題種別ごとのラップも示す。各セルは「wall time合計 / 1件の中央値」で、LowとMediumは分けて集計した。nは各モデル・各設定の問題数である。まず旧3モデルを示す。
| 問題種別 | Thinking | n | Dense(秒) | A3B(秒) | Qwen(秒) |
|---|---|---|---|---|---|
| 構造化抽出 | Low | 10 | 689.2 / 65.4 | 65.1 / 6.5 | 422.0 / 38.1 |
| 構造化抽出 | Medium | 10 | 1,133.0 / 114.9 | 138.3 / 13.6 | 627.0 / 68.3 |
| PN–DS監査 | Low | 10 | 147.2 / 13.7 | 19.3 / 1.8 | 122.7 / 9.4 |
| PN–DS監査 | Medium | 10 | 334.3 / 34.2 | 39.9 / 4.3 | 173.7 / 16.5 |
| 医学的異常検知 | Low | 12 | 246.9 / 21.5 | 20.7 / 1.4 | 637.5 / 58.2 |
| 医学的異常検知 | Medium | 12 | 926.8 / 68.8 | 89.4 / 7.0 | 967.1 / 68.6 |
| 歴史知識論述 | Low | 6 | 577.1 / 97.4 | 79.8 / 13.0 | 451.1 / 73.7 |
| 歴史知識論述 | Medium | 6 | 528.3 / 93.4 | 60.3 / 10.8 | 521.7 / 88.8 |
| Challenge | Low | 80 | 1,143.6 / 10.8 | 169.8 / 1.7 | 1,437.4 / 6.0 |
| Challenge | Medium | 80 | 2,716.7 / 24.7 | 343.9 / 3.3 | 1,091.0 / 7.1 |
4.1系のラップは次の通りである。
| 問題種別 | Thinking | n | 4.1 8B(秒) | 4.1 A3B(秒) | 4.1 33B(秒) |
|---|---|---|---|---|---|
| 構造化抽出 | Low | 10 | 127.5 / 12.4 | 66.2 / 6.9 | 458.7 / 44.4 |
| 構造化抽出 | Medium | 10 | 252.2 / 24.7 | 160.0 / 16.8 | 915.0 / 86.7 |
| PN–DS監査 | Low | 10 | 29.9 / 2.6 | 22.5 / 2.0 | 110.2 / 10.6 |
| PN–DS監査 | Medium | 10 | 63.9 / 5.8 | 48.1 / 4.9 | 264.9 / 25.0 |
| 医学的異常検知 | Low | 12 | 43.5 / 2.6 | 23.7 / 1.8 | 186.7 / 14.4 |
| 医学的異常検知 | Medium | 12 | 181.7 / 14.0 | 112.3 / 9.7 | 551.7 / 44.7 |
| 歴史知識論述 | Low | 6 | 133.5 / 23.3 | 78.1 / 11.7 | 551.2 / 77.8 |
| 歴史知識論述 | Medium | 6 | 134.3 / 21.1 | 73.2 / 13.0 | 448.4 / 73.3 |
| Challenge | Low | 80 | 303.5 / 2.9 | 171.0 / 1.9 | 1,008.6 / 11.3 |
| Challenge | Medium | 80 | 1,026.6 / 6.2 | 389.3 / 3.4 | 2,664.8 / 20.2 |
新旧ともA3Bの出力throughputは約159 token/sで、33B Denseの約7.5倍だった。4.1 8Bも88.4 token/sで、Qwenの71.2 token/sを上回った。
QwenはDenseの約3.4倍のtoken/sだが、出力token数がDenseの約2.5倍に達した。そのため、suite全体のwall timeはDenseより約24%短い程度に留まった。モデルの速度を見るときはtoken/sだけでなく、「回答を終えるまでに何token出すか」も同時に見る必要がある。
なお、この速度差にはアーキテクチャだけでなく、QwenのMTP有効化やモデル別samplingも含まれる。
ただ、Denseモデルであっても生成戦略による改善の値が大きいことを考えると、すごいなと思う(小学生並みの感想)
まとめ
今回の結果から、次のことが分かった。
- Qwen3.8-27Bは自動採点の臨床、異常検知、Challengeで依然として最も高かった。
- LLM-jp-4.1 33Bは旧33Bから明確に改善し、4.1 A3Bも旧A3Bを臨床・異常検知・Challengeで上回った。
- 4.1 8Bは、臨床とChallengeで旧33Bとほぼ同じ水準に達した。
- Thinking Mediumは臨床・異常検知・Challengeでは概ね有効だったが、歴史論述では4.1の全モデルで低下した。
- h-nabata ChallengeはQwenでほぼ飽和しているため、今後はより難しい問題も必要になる。
一方で、各条件はseed 42の1回だけであり、臨床・歴史の問題数も少ない。医療goldはCodex作成で、臨床専門家による再検証も必要である。現段階の値はランキングの確定値ではなく、モデルと推論設定の性格をつかむpilotと考えるべきだろう。