【ローカルLLM】続・精選問題による国産LLM「LLM-jp-4-33B」と「Qwen3.8-27B」の推論性能比較（RTX 5070 Ti + RTX 3070 Ti）

Last updated at 2026-09-06Posted at 2026-09-05

はじめに

「Qwen3.8-27B」のリリースに続いて国産LLM「LLM-jp-4-33B-thinking」がリリースされたので、両者の推論能力を比較したいと考え、いくつかの問題セットを用意して簡単な評価を実施したのが前回の記事の内容であった。

前回の検証で問題になったのが、用意した問題が両モデルを比較するベンチマークテストとしては簡単すぎたことである。実際、前回の記事では両モデルがほぼ満点を獲得する飽和状態で、純粋な性能評価としては不十分な結果であった。

前回の検討において両モデルの性能の限界を引き出せていないのは確かだが、限定的な条件･制約下でのベンチマークテストとしては、有効な結果ではある。

そこで本稿では、前回に比べて遥かに高度な推論が要求される問題セットを用意し、共通のハードウェア上で両モデルの発揮できる推論能力を比較する。プロンプトはいずれも英語を入力言語とし、コンテキスト長を4k→32kと8倍に増やして性能比較を行う。この際、前回とは異なり、両モデルの推論能力が（筆者の所有する PC のハードウェア上で）できるだけ引き出される設定でllama.cppサーバーを起動する。

例えば、Qwen3.8-27BではMTP（Multi-Token Prediction）による投機的デコード機能が実装されている。前回のベンチマークテストではこの機能をオフにしていたが、今回は速度面を含めたモデル本来の実力を観察するためにMTP をオンにしてベンチマークテストを実施する。

コンテキスト長のサイズに関して議論の余地はあるが、筆者の粗末な実行環境では 32k がハードウェア的にも時間的にも上限であった。この点はどうかご容赦願いたい。

コンテキスト長不足によるtruncationが発生した一部の問題では64kのコンテキスト長でも試行しているが、デュアルGPU環境で実行しているとはいえCPUオフロード時のデコード速度はLLM-jpで約 4 tps、Qwenでも約 8 tpsと遅く、そもそもこのレベルの検証が筆者の環境で実施すべき仕事なのかについては正直疑問である。欲しいものリストにDGX SparkおよびRTX Sparkの128GBモデルを加えざるを得ない。

なお、本稿では主に推論能力の評価に焦点を当て、tool callやエージェント機能の測定は実施していない。また、継続的指示・会話に対する応答や追従性能、コンテキスト保持性能などの評価も実施していない。

SNS等で共有されているQwen3.8-27Bの活用状況を見るに、3D造形やソフトウェア開発などの広範なタスクにおいて、ローカルLLM/AIエージェントとしては実用レベルに達していると思われる。

実行環境

本検証は以下の共通ハードウェア上で実施した。

項目	構成
CPU	AMD Ryzen 7 5800X3D（8C/16T, L3 96 MiB）
RAM	64 GB DDR4-2667（16 GB × 4）
GPU	RTX 5070 Ti 16 GB + RTX 3070 Ti 8 GB
合計VRAM	約24 GB
NVIDIA Driver	591.86
CUDA Version（Driver API）	13.1
Host OS	Windows 11 Home 10.0.26200.9168
WSL	WSL 2.3.26.0
Linux	Ubuntu 24.04.1 LTS
WSL Kernel	5.15.167.4-microsoft-standard-WSL2
WSL Memory	48 GB設定（約47 GiB認識）
WSL Swap	8 GB

LLM実行環境

項目	LLM-jp-4-33B-thinking	Qwen3.8-27B
モデル形式	GGUF	GGUF
量子化	Q4_K_M	Q4_K_M
llama.cpp	build 9376 (`26b0e874a`)	0.2.0-dev / build 10588 (`70adb1b4c`)
Compiler	GNU 13.3.0	GNU 13.3.0
Context size	32768	32768
GPU offload	`-ngl 50`	`-ngl all`
Tensor split	`16,7`	`16,6`
Flash Attention	Enabled	Enabled
MTP	—	Enabled
MTP draft model	—	Q4_0
MTP `n-max`	—	3

準備

モデルに関してはOllama経由で既にblobをダウンロード済みで、llama.cpp環境も構築済みである。環境構築の手順については前回の記事などを参照されたい。

今回の検証作業において、Ollamaの導入は必要ではない。環境の乱立を避ける場合はllama.cpp環境のみを構築すればよい。

llama.cppのバージョンについて

実は、日本時間の2026年9月5日未明（本稿公開日の前日）にllama.cppのv0.4.0がリリースされている。本検証で使用した llama.cpp は、記事執筆時点の最新版（v0.4.0）ではない。実際の検証環境は以下の通り。

LLM-jp-4用の環境

version: 9376 (26b0e874a)
built with GNU 13.3.0 for Linux x86_64

Qwen3.8用の環境

version: 0.2.0-dev (build 10588, commit 70adb1b4c)
built with GNU 13.3.0 for Linux x86_64

LLM-jp-4用のfork版は build 9376 (26b0e874a) で2026年6月16日にマージされたcommit、Qwen3.8用の 0.2.0-dev は build 10588 (70adb1b4c) で2026年8月22日にマージされたcommitである。

特にLLM-jp-4については、モデル固有のthinking処理等に対応したfork版を使用しているため、最新ではない。最新の llama.cpp では、CUDA Flash Attention、KVキャッシュ、長文コンテキスト処理、マルチGPU、投機的デコーディングなどに継続的な改善が加えられている。このため、本記事の推論速度、VRAM使用量、長文処理時の挙動等は、最新版だと再現しない可能性がある。

LLM-jp-4-33B

LLM-jp-4-33BおよびQwen3.8-27B用のサーバーはそれぞれ以下のコマンドで起動した。--modelの引数には該当するblobのパスを指定する。前回同様、いずれのモデルも4bit量子化版を利用した。

ubatchのサイズは前回256だったが、この値を128に削減して少しでもメモリを確保する。ubatchを小さくするとprefillが遅くなるが、1 tokenずつ生成するdecode速度にはほとんど直接効かない。今回はそれほど長文のプロンプトを読ませるわけではないため、大きな問題にはならないと考えられる。

LLM-jp-4-33Bサーバーの起動

cd ~/llama.cpp-llmjp/

./build-cublas/bin/llama-server \
  --model /usr/share/ollama/.ollama/models/blobs/sha256-12c23619261c824f88facec565a4b6750d2b0872db7e57f6289ad677822e00dd \
  --jinja \
  -rea on \
  --reasoning-budget -1 \
  --flash-attn on \
  --fit off \
  --split-mode layer \
  --tensor-split 16,7 \
  -ngl 50 \
  --ctx-size 32768 \
  --no-context-shift \
  --parallel 1 \
  --batch-size 512 \
  --ubatch-size 128 \
  --port 8080

LLM-jp-4-33Bサーバー起動後の様子

$ free -h
               total        used        free      shared  buff/cache   available
Mem:            47Gi       1.3Gi        45Gi       172Mi       419Mi        45Gi
Swap:          8.0Gi       2.3Gi       5.7Gi

$ nvidia-smi
|=========================================+========================+======================|
|   0  NVIDIA GeForce RTX 3070 Ti     On  |   00000000:04:00.0 Off |                  N/A |
|  0%   34C    P8              3W /  320W |    6888MiB /   8192MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
|   1  NVIDIA GeForce RTX 5070 Ti     On  |   00000000:2B:00.0  On |                  N/A |
|  0%   49C    P8             28W /  300W |   15377MiB /  16303MiB |     14%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+

Qwen3.8-27B

前回利用したblobは、MTPがGGUF本体に内蔵されておらず、mtp-Qwen3.8-27B-Q4_0.gguf という別のGGUFに分離されている。今回の検証ではMTPを利用するので、このMTPファイルをダウンロードする。（ダウンロード済みなら読み飛ばしてOK）

Hugging Face CLIが入っている場合は、以下のようにしてダウンロードできる。

mkdir -p ~/models/qwen3.8-mtp

hf download ggml-org/Qwen3.8-27B-GGUF \
  mtp-Qwen3.8-27B-Q4_0.gguf \
  --local-dir ~/models/qwen3.8-mtp

Hugging Face CLIは pip install -U huggingface-hub などとして導入可能。

サーバー起動時に --spec-draft-model でMTPファイルのパスを指定する。

Qwen3.8-27Bサーバーの起動

cd ~/llama.cpp-qwen38/

./build-cublas/bin/llama-server \
  --model /usr/share/ollama/.ollama/models/blobs/sha256-31629f53165ab6a7dad8c9847dcfd1fdf55829dac1e6e748f4a68581b0033d34 \
  --spec-draft-model ~/models/qwen3.8-mtp/mtp-Qwen3.8-27B-Q4_0.gguf \
  --jinja \
  -rea on \
  --reasoning-effort low \
  --reasoning-budget -1 \
  --flash-attn on \
  --fit off \
  --split-mode layer \
  --tensor-split 16,6 \
  -ngl all \
  --ctx-size 32768 \
  --no-context-shift \
  --parallel 1 \
  --batch-size 512 \
  --ubatch-size 128 \
  --spec-type draft-mtp \
  --spec-draft-n-max 3 \
  --host 127.0.0.1 \
  --port 8080

Qwenの reasoning-effort の既定値は xhigh であるが、ここでは low とした。これは、xhigh を指定すると32kコンテキスト長ではThinkingが収まらず、ほとんどの問題で推論が完遂できなかったためである。また、reasoning effortを上げたからと言って正答率が極端に高まる保証も無かったことから、今回は low に統一して実施した。（一部のタスクではCPUオフロードによりコンテキスト長を伸ばしてテストしている）

プロンプト投入時の thinking_budget_tokens は24kに制限している。これは、reasoning-effort を low にしても30kのトークンをthinkingに費やしてしまったためである。

Qwen3.8-27Bサーバー起動後の様子

|=========================================+========================+======================|
|   0  NVIDIA GeForce RTX 3070 Ti     On  |   00000000:04:00.0 Off |                  N/A |
|  0%   40C    P8              3W /  320W |    7148MiB /   8192MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
|   1  NVIDIA GeForce RTX 5070 Ti     On  |   00000000:2B:00.0  On |                  N/A |
|  0%   50C    P8             19W /  300W |   15803MiB /  16303MiB |      2%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+

               total        used        free      shared  buff/cache   available
Mem:            47Gi       2.8Gi        25Gi       1.6Gi        21Gi        44Gi
Swap:          8.0Gi       118Mi       7.9Gi

MTP（Multi-Token Prediction）について

MTP（Multi-Token Prediction）は、各位置で複数のトークンに予測範囲を拡張して生成を行う技術である。

2024年に現代のLLMに適した手法をMeta社の研究者が発表し、DeepSeek-V3で学習・推論アーキテクチャに本格的に組み込まれたことで注目を集めた。

MTPは基本的に推論速度を向上する技術だが、予測したトークンのすべてが採用されるわけではない。したがって、採用されるかどうか（acceptance）の歩合とデコード速度の兼ね合いで最適な予測トークン数が決まる。

Qwen3.8にはMTP prediction layerが搭載されており、この技術を利用できる。Qwen3.8-27B Q4_K_Mについては最近、以下の表に示すようなllama.cpp上での実測値が報告されている。これによれば、ある程度のトークン長の生成においては n-max=3 付近が最も効率的であることが分かる。また、同様の傾向はllama.cppでの別の検証でも報告されている。

n-max	decode	acceptance
off	73.6	—
1	104.8	0.860
2	125.5	0.766
3	133.6	0.674
4	119.5	0.592
5	108.8	0.520

したがって、本稿では n-max=3 を基準にMTPを有効化し、一連のベンチマークテストを実施した。なお、LLM-jp-4にはMTPが実装されていないため、今回の比較検証ではQwen3.8側でのみ有効となる。

検証

ベンチマーク用の問題リストはあまりにも長大なため別の記事に掲載した。

ベンチマーク用の問題はすべて英語を入力言語とした。ただし、固有名詞や文学に関する問題では文中に漢字や日本語を含む場合がある。出力言語に関する指示はプロンプトに含めていない。

全体を通じて数理的思考能力の測定に重きを置き、論理、文章理解・翻訳、コーディングを含む情報科学、数学、物理学、化学、生物学の8分類からそれぞれ8問ずつ、計64問を出題した。数学については「数学（代数・数論）」、「数学（解析・幾何）」の2分野でそれぞれ8問を出題した。いずれも国際的な大学入試～数学コンテストで通用するレベルの問題である。その他、理系分野についても、大学教養～学部レベルの知識で回答できるよう収集・作問した。入試問題や懸賞問題、国際コンテスト等から抜粋・改変したもの以外に、ChatGPT-5.6-Solが提案したものを筆者が改変する形で作成したため、完全にオリジナルの問題も含まれる。

項目	ID
論理	LP-LOG-P01 ～ LP-LOG-P08
文章理解・翻訳	LP-LIT-P01 ～ LP-LIT-P08
情報科学	LP-CSC-P01 ～ LP-CSC-P08
数学（代数・数論）	SP-NUM-P01 ～ SP-NUM-P08
数学（解析・幾何）	SP-ANL-P01 ～ SP-ANL-P08
物理学	SP-PHY-P01 ～ SP-PHY-P08
化学	SP-CHE-P01 ～ SP-CHE-P08
生物学	SP-BIO-P01 ～ SP-BIO-P08

最終値や形式を機械的に照合した後、自由記述部分の論証や論理展開の不備、前提知識の正誤、概念や理論の接続性の正誤等を筆者とChatGPT-5.6-Solが目視によりチェックした。採点は10点満点。

本ベンチマークの採点結果に関しては、筆者とChatGPT-5.6-Solの知能の程度が事実上の測定限界となっている。採点基準の恣意性や得点の定量性に関して、ある程度の振れ幅は容赦していただきたい。

各プロンプトは、以下のコマンドによりHTTP POSTリクエストとして送信した。

LLM-jpに渡す場合

$ curl -sS http://127.0.0.1:8080/v1/chat/completions \
  -H 'Content-Type: application/json' \
  --data-binary @- <<'JSON' | python3 -m json.tool > test_LLMjp.log
{
  "messages": [
    {
      "role": "user",
      "content": "ドラえもんはタヌキ型ロボットですか？"
    }
  ],
  "reasoning_effort": "medium",
  "thinking_budget_tokens": 24576,
  "temperature": 0.0,
  "max_tokens": 30000,
  "seed": 42
}
JSON

Qwenに渡す場合

$ curl -sS http://127.0.0.1:8080/v1/chat/completions \
  -H 'Content-Type: application/json' \
  --data-binary @- <<'JSON' | python3 -m json.tool > test_Qwen.log
{
  "messages": [
    {
      "role": "user",
      "content": "2+2=5ですか？"
    }
  ],
  "reasoning_effort": "low",
  "thinking_budget_tokens": 24576,
  "temperature": 1.0,
  "top_p": 0.95,
  "top_k": 20,
  "min_p": 0.0,
  "presence_penalty": 0.0,
  "repeat_penalty": 1.0,
  "max_tokens": 30000,
  "seed": 42
}
JSON

推論のseed値依存性

Qwen3.8-27Bでは論証の正確性において、一定のseed値依存性が認められた。例えば数学（数論）の問題 SP-NUM-P01 に関しては以下のような結果となった。記述式テストの場合はいずれのケースでも満点を獲得できないと思われる。

seed値	（1）	（2）
42	✅ 正解	❌ 推論中断
2026	❌ 誤答（論証に重大なミス）	⚠️ 部分点（証明に瑕疵あり）
314159	⚠️ 部分点（論理的不備あり）	❌ 誤答（論証に重大なミス）

seed値を指定しないで何回か試行している際に、（１）と（２）の両方で致命的なミスなく正答できているパターンも観察された。したがって、Qwen3.8-27Bはこのレベルの問題に全く太刀打ちできないわけではないが、安定して正答を導けるわけでもない、というのが実際のところのようである。

計算資源の制約もあるため、今回の検証ではseed値依存性については深く立ち入らず、ここでは再現性を優先してseed値を42に固定した検証を実施した。

Qwen3.8-27Bについては開発元がThinking Mode向けに推奨するサンプリングパラメータを使用した。一方、LLM-jp-4-33B-thinkingについては対応するパラメータの推奨値が開発元から明示されていないため、本検証では再現性を優先して temperature=0 のgreedy decodingを採用した。したがって両モデルのデコード条件は完全には同一ではなく、本結果は下記に記載した条件下での性能比較として解釈する必要がある。

ベンチマークテストでのパラメータ

今回の推論性能比較において利用したパラメータを以下の表に示す。

項目	LLM-jp	Qwen
Thinking	有効	有効
reasoning effort	`medium`	`low`
thinking budget	24576	24576
temperature	0.0	1.0
top_p	0.95*	0.95
top_k	40*	20
min_p	0.05*	0.0
presence penalty	0.0*	0.0
repeat penalty	1.0*	1.0
デコード方式	Greedy	Stochastic sampling
seed	42	42
max output	30000	30000
実行 context	32768	32768
native context	65536	262144
MTP	なし	あり
MTP speculative decoding	—	有効
preserve_thinking	—	デフォルト有効

* 公式の推奨値なし／実行時には llama.cpp既定値を適用。

以下、検証結果を列挙する。問題文は以下の記事に掲載しているので、別ウィンドウで並べてご覧いただきたい。

また、結果及びプロンプト投入用のシェルスクリプト一式をGitHub上で公開している。ただし、ベンチマークテストについては、一部の問題に著作権が残る可能性がある点に要注意。出典が特に明示されていないオリジナルの問題については改変自由（CC BY 4.0で配布）。

論理

LOG系列は論理パズルに近い出題が大半を占める。ここでは論理関係を厳密に読み取って解釈できるかを見る。

ID	分野	題材	難度目安
LP-LOG-P01	認識論理	和・積情報と公開発言による知識状態更新	★★
LP-LOG-P02	制約充足	故障機器と技術者の証言真偽	★★
LP-LOG-P03	規則推論	研究課題の採択条件・例外・タイブレーク	★★
LP-LOG-P04	規程判定	管理資料・緊急措置・法的保存命令	★★★
LP-LOG-P05	因果推論	媒介効果・直接効果・選択バイアス	★★★
LP-LOG-P06	形式論理	結論を導く包含極小な仮定集合	★★★
LP-LOG-P07	様相論理	必然・可能・不可能と複合論理条件	★★★★
LP-LOG-P08	時系列規則推論	規則改正・時限措置・裁判判断の複合	★★★★

ID	Qwen3.8-27B	LLM-jp-4-33B
LP-LOG-P01	10.0	10.0
LP-LOG-P02	10.0	10.0
LP-LOG-P03	10.0	10.0
LP-LOG-P04	10.0	10.0
LP-LOG-P05	10.0	10.0
LP-LOG-P06	10.0	10.0
LP-LOG-P07	8.5	8.5
LP-LOG-P08	10.0	10.0
合計	78.5 / 80	78.5 / 80

LOG系列において、QwenおよびLLM-jpはほとんど満点に近い同点であった。

P07では両モデルで共通して命題Fに関して明確な誤答（無効な論理構造）が見られた。両モデルとも最初は条件2を正しく、

Rep XOR (Pilot AND Audit)

と形式化していた。ところが、推論終盤での F の判定段階でQwenは、

If R(p) is true, then P(p) ∧ X(p) is false, so X(p) is false.`

と結論した。これは NOT (Pilot AND Audit) から NOT Audit を導くもので、論理的には成立しない。LLM-jpもこれと同様の間違いを犯していた。

正しくは、ド・モルガンの法則により
NOT (Pilot AND Audit) ≡ (NOT Pilot) OR (NOT Audit)
とすべきである。

これは複合的な命題の構造を推論途中で保持できず、否定された連言（上式の左辺部分）を不当に強く解釈する局所的な論理ミスである。両モデルが同じ箇所で間違っている点を考えると、この種の推論はパラメータの（比較的）小さなLLMにとって難しいタスクである可能性が高く、面白い現象と言える。

因みに、総トークン数（completionのみ、promptは含まない）は以下のようになっており、P07で突出して多いわけではない（Qwenではやや多め）。P07に関してはQwenとLLM-jpの生成量がほぼ同じであり、両モデルは同じような推論の結果、同じようなミスを犯している。

ID	Qwen3.8-27B	LLM-jp-4-33B
LP-LOG-P01	1,857	2,605
LP-LOG-P02	1,715	2,110
LP-LOG-P03	700	546
LP-LOG-P04	1,480	1,735
LP-LOG-P05	1,237	941
LP-LOG-P06	2,059	2,744
LP-LOG-P07	2,231	2,212
LP-LOG-P08	1,586	1,324

特にQwenはP07がLOG系列中で最も多くトークンを使った問題であり、唯一の意味的誤答となっている。この点は、 reasoning length と reasoning correctness が単純には比例しない例の一つと言える。

推論内容と関係ない部分になるが、Qwenでは出力にコードフェンス（```の記号）を含めて書き出しており、問題文で求められているようなjson単体の形式ではなかった。厳密には減点すべきだが、推論内容に不備は認められなかったので、この性能比較においては減点していない。

Qwen3.8-27Bに対して厳密なjson形式の出力を要求する場合、何らかのハーネス（ガードレール）が別途必要となる可能性がある。このコードフェンスを出力に含める傾向は他の系列の回答でも同様であった。

文章理解・翻訳

LIT系列は文章の緻密な読解力が問われる問題で構成した。後半4問はLLMの主要な用途である翻訳タスクで固めている。

ID	分野	題材	難度目安
LP-LIT-P01	談話理解	文書の版・条件付き承認・発言時点	★★
LP-LIT-P02	語用論・論理	発言と証拠から支持される命題の区別	★★★
LP-LIT-P03	指示表現・時制	入れ子構造の引用における情報の追跡	★★★★
LP-LIT-P04	証拠評価	証言・映像・アクセス記録と人物同定	★★★
LP-LIT-P05	日英翻訳	文章の意味と構造の保持	★★
LP-LIT-P06	英日翻訳	否定・反実仮想・量化の構造の保持	★★★★
LP-LIT-P07	多層翻訳	和文を含む中文英訳＋モダリティ保持	★★★★
LP-LIT-P08	文学批評・翻訳	漢詩を含む英文和訳＋曖昧性の保持	★★★★★

ID	Qwen3.8-27B	LLM-jp-4-33B
LP-LIT-P01	9.5	8.0
LP-LIT-P02	10.0	5.0
LP-LIT-P03	10.0	8.5
LP-LIT-P04	10.0	10.0
LP-LIT-P05	9.0	8.8
LP-LIT-P06	9.2	8.0
LP-LIT-P07	9.7*	9.4*
LP-LIT-P08	8.5	7.2
合計	75.9 / 80	64.9 / 80

* 日本語の引用部分は未訳のまま回答されていたが、これは適切な処理と判断した。問題文の解釈に曖昧さはあるものの、より厳しく "Output only the English translation" という要求に対する違反と見なせば、Qwenでは 8.5/10 点程度、LLM-jpでは 7.8/10 点程度となるが、性能の比較という観点ではあまり意味はないだろう。

QwenはP01～P04までほぼ満点であり、文章の読解力・解釈の精度は極めて高い。翻訳も基本的に高性能であるが、P06の回答では日本語の自然さには若干難がある部分も観察された。対するLLM-jpも基本的に優秀ではあるものの、論理や解釈を推論中に変質させてしまうケースが度々見られた。

P02では「Emilyが報告書に書いた」ことと「その内容が証拠から論理的に支持される」ことをQwenは区別できた一方、LLM-jpは両者を混同してしまい、B・D・F の選択肢を間違えていた。

P02の正答は {"A":"E","B":"U","C":"C","D":"U","E":"E","F":"C"} となる。

このような不確定・未確定な事象を不完全な根拠から事実と断定したがるLLM-jpの傾向は、P08の杜甫の詩について述べた文章の解釈においても表れていた。P08では、原文が意図的に未決定のまま残した第三の解釈を、LLM-jpは確定的な批評家の主張へと強めて和訳してしまっている。

LIT-P08は単なる翻訳能力を超えて、「作者・批評家が決着をつけていない解釈を、モデルが勝手に決着させないか」を測定する意図でも採用している。今回まさに期待した現象が発生したため、モデルの性能を見極める問題として確かに有効なようである。

P06では「異議を唱えた者のうち二人」を「異議を唱えた二人のうち二人」と訳出しており、原文にはないニュアンスを勝手に付加してしまっている。翻訳のタスクで顕著なのかもしれないが、厳密な解釈が求められる場面でLLM-jp-4-33B-thinkingを利用するには、やや不安が残る結果と言える。

入力言語が英語である点がLLM-jpの推論性能に影響している可能性は考えられるが、ここでは立ち入らない。

P05は今年の京都大学の和文英訳から採ったが、両モデルの英訳は内容がほとんど正確な上に使用している語彙も平易であり、予備校の解答速報より優れているように思う。今回の検証では訳文でも原文の意味合いを厳密に保持しているかを重視して採点したため、意味が強まっている部分（LLM-jpの the right path やQwenの most fulfilling など）で多少減点されているものの、文意と比喩的表現を崩さずにうまく英訳できている。実際の入試で提出すればほぼ満点と思われる。

LLM-jpの回答：
To determine the right path, one should examine options thoroughly beforehand and strive for the most satisfying choice. Yet, to know whether that path will truly bear fruit for the individual, there is no substitute for spending some time actually experiencing it. This presents an inevitable trial. When standing at a crossroads, it may sometimes be necessary to steel oneself, confident that beyond the chosen route lies a world beyond imagination.

Qwenの回答：
When deciding which path to take, one naturally wishes to deliberate carefully in advance and make the choice that seems most fulfilling. Yet the only way to know whether a path will truly bear fruit for the person who walks it is to spend time actually living it. Here lies an inescapable trial. When standing at a crossroads, one may sometimes need to steel oneself with the conviction that the road chosen will lead, without question, into a world one could never have imagined.

情報科学

ここでは、情報科学の各分野から広く出題している。筆者の専門外のため、難度の目安はあまり当てにならない。

ID	分野	題材	難度目安
LP-CSC-P01	アルゴリズム	残余辺を含む最小費用マッチング	★★★
LP-CSC-P02	データベース	Snapshot分離と直列化可能性	★★★
LP-CSC-P03	コンパイラ	CFG・SSA解析	★★★★
LP-CSC-P04	ネットワーク	Max-Min公平性と重み付き公平性	★★
LP-CSC-P05	分散システム	分散スナップショット	★★
LP-CSC-P06	計算機工学	TLB・物理キャッシュ追跡	★★★★
LP-CSC-P07	プログラミング言語	let多相型推論	★★★
LP-CSC-P08	アルゴリズム・実装	動的二部性の高速実装	★★★★

ID	Qwen3.8-27B	LLM-jp-4-33B
LP-CSC-P01	5.0	5.0
LP-CSC-P02	10.0	10.0
LP-CSC-P03	7.0	6.0
LP-CSC-P04	8.0	10.0
LP-CSC-P05	9.0	10.0
LP-CSC-P06	10.0	7.0
LP-CSC-P07	9.0	2.0
LP-CSC-P08	10.0	1.0
合計	68.0 / 80	51.0 / 80

P05まではLLM-jpが互角か優位であるが、P07、P08ではQwenが明確に上回った。

P01では両モデルとも同じミスをしていた。LLM-jp の最終回答は Qwen と全く同じで$$A−X, B−W, C−Z, D−Y,\quad \text{cost}=13$$としているが、正しい第4 augmenting path は$$s→D→Z→C→W→B→Y→t$$で、残余費用は $0+0+0+4−4+4=4$ となるため、総費用は12が正しい。

P06のLLM-jpの回答では局所的な16進数計算ミスが後半全体へ伝播し、失点していた。

P07においてLLM-jpの回答は

{"E1":"UNTYPABLE","E2":"(('d*'d)->'e)->('f*'g)","E3":"'a->'a","E4":"'a->('a*'a)","E5":"UNTYPABLE"}

となっており、型の意味として正しいのは実質 E4 だけであった。Qwenは5つの式すべてで意味的に正解しており、表記上のミスのみに留まった。

P08においてLLM-jp は rollback DSU ではなく Link-Cut Tree を選択しており、提出したコードが3秒以内に終了せずタイムアウトしており、正しく実装できていなかった。一方Qwenは、$$ \text{segment tree over time} + \text{rollback DSU} + \text{parity} + \text{bipartite flag} $$という正攻法を実装し、正解となった。

各問の回答の品質について以下のタグで評価する。評価そのものはChatGPT-5.6-Solによる。

タグ	定義
`PASS`	内容・最終回答が正しい（JSONコードフェンス違反は許容）
`FORMAT_VIOLATION`	内容は正しいがJSON-only、code-only等の出力指定に違反
`CANONICALIZATION_ERROR`	数学的意味は正しいが、指定された標準表記・順序・括弧・正規形に違反
`LOCAL_ERROR`	推論全体は概ね正しいが、局所的な計算・判断ミスがある
`ARITHMETIC_ERROR`	算術、進数変換、符号、数値計算等の局所ミス
`STATE_TRACKING_ERROR`	複数段階の状態更新で以前の値・状態を誤って保持または更新
`INCOMPLETE_SOLUTION_SET`	必要な解・配置・辺・ケース等を一部列挙し損ねた
`FATAL_LOGIC`	中核となる推論・論理構造が誤っており、正答を保証できない
`WRONG_CFG`	CFG・支配関係・到達可能性などグラフ構造そのものを誤認
`WRONG_TYPE_INFERENCE`	型制約、unification、instantiation等の型推論を本質的に誤る
`WRONG_GENERALIZATION`	let-polymorphism等における一般化可能変数の判定を誤る
`WRONG_MODEL`	問題を解くための形式化・計算モデル・アルゴリズム枠組み自体を誤る
`FATAL_ALGORITHM`	提案アルゴリズムが要求された入力全般を正しく処理できない
`RUNTIME_FAILURE`	提出コードが停止しない、例外終了する、サンプルを完走できない等

結果をまとめると次のようになる。

ID	Qwen3.8-27B	LLM-jp-4-33B-thinking	判定理由
P01	`FATAL_LOGIC`	`FATAL_LOGIC`	両モデルとも第4増加路で複数の逆向き残余辺を利用する再割当経路を見落とし、最適費用 $12$ ではなく $13$ とした。LLM-jpも同一の最終解を出力している。
P02	`FORMAT_VIOLATION`	`PASS`	両者とも内容は完全正解。Qwenのみ指定に反してJSONをMarkdownコードフェンスで囲んだ。LLM-jpは指定形式どおりの正答。
P03	`FATAL_LOGIC`, `INCOMPLETE_SOLUTION_SET`	`FATAL_LOGIC`, `WRONG_CFG`, `INCOMPLETE_SOLUTION_SET`	Qwenはidom・DF・livenessは正しいが $\phi$ 配置を一部欠落。LLM-jpはさらに back edge を predecessor として取り込まず、dominator/DF 自体から誤った。
P04	`LOCAL_ERROR`, `STATE_TRACKING_ERROR`	`PASS`	Qwenはweighted progressive filling途中で $f_4$ の既存レートを誤って引き継いだ。LLM-jpは途中の計算ミスを自己訂正して両ケースを完答した。
P05	`LOCAL_ERROR`, `STATE_TRACKING_ERROR`	`PASS`	Qwenは $P_2\to P_1$ の in-transit message $m_1$ を欠落。LLM-jpは全channel stateを正しく復元した。なおLLM-jpは明確化後の改訂promptを使用しているため直接比較には注意。
P06	`FORMAT_VIOLATION`	`LOCAL_ERROR`, `ARITHMETIC_ERROR`, `STATE_TRACKING_ERROR`	Qwenは内容完全正解だがコードフェンスあり。LLM-jpは $0xF30$ を $3904$ と誤換算し、set/tag・writeback・後続cache stateへ誤りが連鎖した。
P07	`FORMAT_VIOLATION`, `CANONICALIZATION_ERROR`	`FATAL_LOGIC`, `WRONG_TYPE_INFERENCE`, `WRONG_GENERALIZATION`	Qwenは型の意味は全問正解だがcanonical parentheses等に違反。LLM-jpは let-polymorphism の instantiation/generalization を本質的に誤り、5問中ほぼE4のみ正解。
P08	`FORMAT_VIOLATION`	`WRONG_MODEL`, `FATAL_ALGORITHM`, `RUNTIME_FAILURE`	Qwenはrollback parity DSU方式で実質正解。LLM-jpは問題をonlineと誤認して不適切なLink-Cut Treeを構成し、同一componentへの辺追加を扱えず、提出コードはサンプルでも正常完走しなかった。

CSC系列から分かることとして、両者の失敗の性質がかなり異なっている点が挙げられる。

Qwenは P01・P03・P04 で、「複雑な状態更新や iterated rule の一部を落とす」というタイプのミスをしていた。一方 LLM-jp は P03で CFG の predecessor 自体を落とし、P07で HM の generalization / instantiation を概念的に誤り、P08では問題の offline 性を誤認した上で不成立なデータ構造を構築していた。

したがって今回のCSC系列に限れば、単なる正答率以上に、情報科学の形式的概念とアルゴリズム上の不変条件の保持能力で Qwen が優位と評価できる。一方で LLM-jp は P04 のような数値的 progressive filling をQwenより正確に完遂しており、P06も1個の16進算術ミスがなければほぼ完答している。そのため「情報科学全般が弱い」というより、型システム・データ構造・CFG/SSA のように形式的な不変条件を長く保持する課題において、相対的に弱さが目立ったと解釈できる。

数学（代数・数論）

NUM系列では数論を中心として全体的に難しめの問題を揃えた。

ID	分野	題材	難度目安
SP-NUM-P01	数論	記数法・整除条件	★★★★
SP-NUM-P02	代数	有理式の連立方程式	★★★★
SP-NUM-P03	数論・組合せ論	$n!$ の相異なる約数の和	★★★★
SP-NUM-P04	数論	指数型ディオファントス方程式	★★★
SP-NUM-P05	数論	$\sqrt7$ の有理近似	★★
SP-NUM-P06	数論	対称な三次方程式の正整数解	★★★
SP-NUM-P07	数論	有理式のディオファントス方程式	★★★
SP-NUM-P08	代数	3変数の比例式	★★★

ID	Qwen3.8-27B	LLM-jp-4-33B
SP-NUM-P01	5.0	2.0
SP-NUM-P02	9.0	7.0
SP-NUM-P03	2.0	2.0
SP-NUM-P04	3.0	2.0
SP-NUM-P05	10.0	9.0
SP-NUM-P06	8.0	4.0
SP-NUM-P07	9.0	6.0
SP-NUM-P08	10.0	2.0
合計	56.0 / 80	34.0 / 80

NUM系列に関しては、Qwen3.8の方がかなり明確に上位であった。

特に差が大きいのはP06とP08で、LLM-jpは「解集合の完全性」を維持する能力で大きく失点している。一方、P03では両モデルとも異なる誤った帰納法によって同程度に失敗しており、この問題は両モデルの推論性能の識別問題としてうまく機能した。

問題文と解答例はインターネット空間に落ちているため、学習データに含まれていないとは言い切れない点には留意すべきである。結果的に、性能比較の題材としてはちょうど良いレベルだったと言える。

QwenのP01の推論では32kコンテキスト長だとtruncationになった。（１）のみ正解し、（２）は最終的な回答が誤っていた。なお、nglを50に減らしてコンテキスト長を64kとして実行したところ、約84分を費やして42952トークンを生成したにもかかわらず完答できなかった（出力結果は SP-NUM-P01_Qwen38_long.log に格納している）。コンテキスト長のサイズを大きくしたからといって正解に近付くとは限らないようである。

LLM-jpの回答はさらに悲惨で、finish_reason="length" で終了しており最終的な content は空で返った。論証も序盤で破綻しており、必要条件を十分条件として使用するなど不完全なものであった。

P01について、32kのコンテキスト長での回答の生成には、Qwenでは10分、LLM-jpでは3時間を要した。P01は数学的な難しさ以上に、LLMにとって「推論を簡潔に収束させられるか」を問う問題になっているようである。

QwenはP03とP04で証明が破綻していた以外は概ねよく解けていた（その他の減点は軽微な記述のミスなど）。P03では $m=q(n−1)!+r$ について $d1=q(n−1)!$ を$n!$の約数であると見なしていた。その根拠を「$q≤n−1<n$ だから $q(n−1)!∣n!$」としていたが、これは一般に偽である。P04では5を法とする合同式（モジュロ演算）の表が示されており、全く解が絞り込まれていなかった。結論の「解無し」はなぜか正しいが、思考過程が誤っているので大幅に減点している。

用意した問題セットはそれなりに難しいはずだが、Qwen3.8-27Bのレベルで7割も得点できているのはやや意外であった。その辺の大学生よりもまともに家庭教師が務まりそうである。

余談だが、数学セミナーは日本評論社から出版されている、60余年の歴史をもつ息の長い数学系雑誌である。この中の「エレガントな解答をもとむ」というコーナーで懸賞応募問題として毎号2問が出題される。出題者は固定ではなく、月によって難度はまちまちだが一筋縄ではいかない難問が多く、珠玉の問題に巡り合える機会を提供している。

これも完全に余談だが、競技数学関係に特化した「Art of Problem Solving」というウェブサイトがある。海外のサイトなのでコミュニティの掲示板では基本的に英語しか通用しないが、IMO（国際数学オリンピック）を含む古今東西の数学コンテストの問題が集積されている。日本人ユーザーは恐らく皆無だが「日曜数学者」にはお勧めのサイトである。

数学（解析・幾何）

こちらは主に解析学に関連する内容とした。幾何学からの出題も含む。

ID	分野	題材	難度目安
SP-ANL-P01	解析・微積分	対数積分・極値評価	★★★
SP-ANL-P02	確率・マルコフ連鎖	正多面体上でのランダムウォーク	★★★★
SP-ANL-P03	空間幾何・積分	三角形の回転体の体積	★★★
SP-ANL-P04	ユークリッド幾何	円周上の点に関する共線性証明	★★★★
SP-ANL-P05	幾何最適化	制約を満たす最小正三角形の決定	★★★★
SP-ANL-P06	幾何	極線を含む高度な共線性証明	★★★★★
SP-ANL-P07	解析・方程式	積分方程式の解の配置	★★★
SP-ANL-P08	離散幾何	制約を満たす多角形の存在条件	★★★★

ID	Qwen3.8-27B	LLM-jp-4-33B
SP-ANL-P01	10.0	6.0
SP-ANL-P02	8.0	2.0
SP-ANL-P03	10.0	3.0
SP-ANL-P04	9.0	2.0
SP-ANL-P05	8.0	2.0
SP-ANL-P06	3.0	1.0
SP-ANL-P07	10.0	3.0
SP-ANL-P08	7.0	2.0
合計	65.0 / 80	21.0 / 80

ANL系列ではNUM系列以上に差が拡大した。LLM-jp-4-33Bにとってはかなり難しいセットだったようである。

P01について、Qwenは満点であったが、関数のオーダーの評価の際に $f(x)−f(x−1)=O(x^{−3})$ という誤った予測を立て、後で再考して軌道修正していた。推論の甘さを重厚なthinkingで補っている点は評価できる。ただし、自力で修正できているのは良いが、推論効率（Reasoning efficiency）という点では改善の余地がある。

LLM-jpも（１）については、$x=-\dfrac{1}{2}$が唯一の極小点であること、および極小値 $\log2-2+\dfrac{\pi}{2}$ を正しく導出した。しかし（２）へ進んだ後、同じ積分式を延々と繰り返し生成する推論ループに入り、最終回答を生成できないまま出力上限へ到達してしまった。これは問題を解けなかったというより、thinkingの内部ではかなり正しい地点まで到達しながらも推論を収束させられなかった、という不具合である。

LLM-jpの同様の不具合はP04とP07でも見られた。

P02は見慣れない問題設定ではあるものの、状態遷移図さえ把握できれば漸化式（もしくは状態遷移行列）から$t$秒後の存在確率を求めることができる。LLM-jpではスペクトル法というアプローチで回答を試みていたが、誤った隣接行列スペクトルを構成してしまい、誤答となった（温情の部分点が無ければ実質的に0点）。正二十面体についても推論が誤っている。LLM-jpは$t$が奇数のときに$p_t=0$と結論しているが、正二十面体には三角形の面が存在するのでこれは$t \ge 3$においては誤りである。

一方、Qwenは（１）、（２）ともに正しい一般式を導出したが、（２）の最終回答での検算において $p_2=\dfrac{3}{10}$、$p_3=\dfrac{31}{375}$ と求めており2つとも誤っていた。これは記述式答案では減点対象となる。

正しくは $p_2=\dfrac{1}{5}$、$p_3=\dfrac{2}{25}$となる。

同様のQwenの検算ミスはP08でも見られた。「$N$が8の倍数であること」という必要条件は導けているものの、実際に$N=8k$と置いた際に得られる$k$の関係式（辺を構成する線分が交差しない条件）を正しく証明できていなかった。

P08に関して、LLM-jpは$$N \ge 7,\quad N≡0 \text{ or } 3 \mod 4$$を最終回答としている。これは$N$が奇数の場合も含むという主張だが、その場合は隣接する辺同士が直交するような多角形を構成できないことがほとんど明らかである。したがって基本的なsanity checkによって反証が可能である。論証序盤の発想自体は良好であるが、その後の論証で不正確な論理展開となってしまった。

P03は両モデルでかなり差が付いた。Qwenは場合分けを含めて適切に処理できていた。一方のLLM-jpは、式変形やyz平面への射影が適切な点は評価できるが、三角形の断面として得られる線分の回転体を単なる円として扱ってしまっていた。最終的な体積を$\dfrac{\pi}{3}$としたが、実際には内部がくり抜かれた円環（アニュラス）となるため、体積はより小さくなり、$\dfrac{\pi}{9}$が正答となる。

P06のQwenの回答は今回の16問中、NUM-P03と並んで明確な失敗となった。中盤までは順調だったものの、論証の中で本問で示すべき命題を補題としてそのまま用いており、最後までこれを証明せず終了していた。これは証明として破綻しており大幅な減点となる。LLM-jpではそもそも各点の位置関係をうまく把握できておらず、ハルシネーションを生じていた。実質的に0点だがChatGPTの採点では1点を部分点として与えていた。

数学分野のまとめ

ここで、数学分野の回答の品質についてまとめる。品質の種類を大まかに下記の通り分類してタグ付けした。

タグ	意味
`PASS`	実質的な数学的欠陥なし
`LENGTH_LOOP`	推論ループ・長考の収束失敗・token上限で完答不能
`LOCAL_ERROR`	最終的な結論に影響しない局所的な計算・論証ミス
`FATAL_LOGIC`	論理破綻、証明に偽の命題を適用
`INCOMPLETE_PROOF`	結論は正しいが全範囲を証明できていない
`INCOMPLETE_SOLUTION_SET`	真の解の一部を落とした
`WRONG_MODEL`	問題の数学的対象・幾何構造等を根本的に誤認
`UNSUPPORTED_LEMMA`	必要な一般命題を証明せず使用
`HALLUCINATED_THEOREM`	存在しない／適用不能な数学的定理・性質を根拠に使用

全体をまとめると以下のようになる。

問題	Qwen3.8-27B	得点	LLM-jp-4-33B-thinking	得点
NUM-P01	`LENGTH_LOOP`	5	`LENGTH_LOOP` （`FATAL_LOGIC`）	2
NUM-P02	`LOCAL_ERROR`	9	`INCOMPLETE_SOLUTION_SET`	7
NUM-P03	`FATAL_LOGIC`	2	`FATAL_LOGIC`	2
NUM-P04	`FATAL_LOGIC`	3	`LENGTH_LOOP`	2
NUM-P05	`PASS`	10	`LOCAL_ERROR`	9
NUM-P06	`LOCAL_ERROR`	8	`INCOMPLETE_SOLUTION_SET`	4
NUM-P07	`LOCAL_ERROR`	9	`INCOMPLETE_PROOF`	6
NUM-P08	`PASS`	10	`INCOMPLETE_SOLUTION_SET`	2
ANL-P01	`PASS`	10	`LENGTH_LOOP`	6
ANL-P02	`LOCAL_ERROR`	8	`WRONG_MODEL`	2
ANL-P03	`PASS`	10	`WRONG_MODEL`	3
ANL-P04	`LOCAL_ERROR`	9	`LENGTH_LOOP`	2
ANL-P05	`INCOMPLETE_PROOF`	8	`WRONG_MODEL`	2
ANL-P06	`UNSUPPORTED_LEMMA`	3	`HALLUCINATED_THEOREM`	1
ANL-P07	`PASS`	10	`LENGTH_LOOP`	3
ANL-P08	`INCOMPLETE_PROOF`	7	`INCOMPLETE_SOLUTION_SET`	2
合計		121/160		55/160

タグの集計結果は以下の通り。

主なfailureタグ	Qwen3.8	LLM-jp-4
`PASS`	5	0
`LOCAL_ERROR`	5	1
`INCOMPLETE_PROOF`	2	1
`INCOMPLETE_SOLUTION_SET`	0	4
`FATAL_LOGIC`	2	1
`WRONG_MODEL`	0	3
`UNSUPPORTED_LEMMA`	1	0
`HALLUCINATED_THEOREM`	0	1
`LENGTH_LOOP`	1	5
合計（`PASS`を除く）	11	16

複数の問題が認められる場合は最も支配的なタグのみを1件としてカウントした。

今回の検証に利用したLLM-jp-4-33BはSTEM専用のRL（Reinforcement Learning；強化学習）ベースのpost-trainingを施したモデルではないため、ある程度予想できたことではあるが PASS が0件であった。

INCOMPLETE_SOLUTION_SET と WRONG_MODEL はQwenでは0件だったのに対し、LLM-jpではそれぞれ4件、3件発生した。今回のLLM-jp-4-33B-thinkingはSFT（Supervised Fine-Tuning；教師ありファインチューニング）およびDPO（Direct Preference Optimization；直接選好最適化）による事後学習済みであり、DPOデータにも数学・STEM系データが含まれている一方、RLによる事後学習は行われていない。今回の差を単純に「STEM分野のチューニングの有無」に帰することはできないが、数学的推論をより強く意識した追加の学習によって改善する余地はあると考えられる。

LENGTH_LOOP はQwenでは1件だったのに対し、LLM-jpでは5件と多かった。特に一部の問題では、推論の初期段階では正しい方針や関係式を得ていたにもかかわらず、その後に同一または類似した計算を反復してtoken上限に達し、最終回答に到達できなかった。この傾向から、少なくとも今回の条件では、LLM-jp-4-33B-thinkingは長い数理推論を収束させ、最終的な証明や回答へと統合する能力（推論のトラジェクトリを含む）に改善の余地があると言える。

物理学

物理系列では、解析力学・流体力学・電磁気学・波動・原子物理学・天体物理学から計8問を出題した。

ID	分野	題材	難度目安
SP-PHY-P01	解析力学	可動円環上の質点	★★★
SP-PHY-P02	解析力学	修正中心力と軌道歳差	★★★★
SP-PHY-P03	流体力学	循環を伴う円柱まわりの理想流体	★★★
SP-PHY-P04	電磁気学	点電荷と導体球	★★★★
SP-PHY-P05	電磁気学	半無限導体における表皮効果	★★★★
SP-PHY-P06	波動	質量・ばね欠陥を含む弦における波の散乱	★★★★
SP-PHY-P07	原子物理学	直交する電場・磁場中の水素原子	★★★★★
SP-PHY-P08	天体物理学	トランジットと視線速度	★★★★★

ID	Qwen3.8-27B	LLM-jp-4-33B
SP-PHY-P01	10.0	8.0
SP-PHY-P02	10.0	6.0
SP-PHY-P03	9.0	0.0
SP-PHY-P04	9.0	2.0
SP-PHY-P05	10.0	7.5
SP-PHY-P06	9.7	9.0
SP-PHY-P07	7.0	7.0
SP-PHY-P08	6.0	2.0
合計	70.5 / 80	41.5 / 80

PHY系列ではQwen3.8-27Bが明確に優勢だった。問題別では、

Qwen優勢：P01、P02、P03、P04、P05、P08
LLM-jp優勢：該当なし
同等：P06、P07

という結果になった（太字は大きく差のついた問題）。

LLM-jpは方針は良いものの、立式の不正確さが失点に繋がっている傾向が見受けられた。

P01では $f(\theta)\dot{\theta}$ の時間微分における局所的な符号・係数ミスにより、運動方程式における速度二乗項が誤っていた。P02では回転運動の運動エネルギーの立式ミス、P03では問題文で明示的に「速度成分」と定義されている $v_\theta$ を角速度と誤認する、P04では接地導体球に対する鏡像電荷の位置を$z'=-\dfrac{a^2}{d}$とする符号ミスなど、序盤のミスが連鎖的な失点に繋がっていた（これが理系科目の怖い所である）。P05ではJoule熱の計算での約分ミスがあり、惜しい失点となった。

Qwen3.8-27Bは推論中に式変形のミスや軽微な物理的解釈の誤りは見られるが、P07とP08を除いて回答はいずれも正解。P08では（１）での「円軌道の射影運動を直線等速運動とした」+「その近似式の代数的操作も逆にした（掛け算とすべきところを割り算にした）」という誤りが重なって（１）と（２）および（５）で失点していた。

P07は量子力学として高度な問題であるが、Qwen3.8-27Bの推論過程では計算中に$L_x$と$L_y$の取り違えたまま回答を進めるという単純なケアレスミスが発生していた。その後の特性方程式の立式ミスは自力で修正していたが、$L_x$と$L_y$の取り違えには最後まで気付けていなかった。

また、Qwen3.8-27Bはかなり「人間っぽい」思考の軌跡を呈することも分かってきた。P06では散乱振幅を導く部分で理論や公式の適用能力が求められるが、適切な推論によってここをクリアしていた。P02では一度 $r_0$ の立式において $m$ を落とした後、次元解析によって自ら矛盾を検出して正しい式へ戻っていることも観察された。既存の知識だけでなく、その場で議論の妥当性を検証する機構が存分に活かされた結果としての高得点と言える。（ただし、途中の式変形で係数にミスあり）

その点でP08の結果は興味深い。公式丸暗記タイプなら系外惑星のトランジットの公式を正しく立式できていた可能性はあるが、もっともらしい近似を見出したものの代数的な単純ミスで間違ってしまっていた。誤答の構造としては、問題の一部分についてはかなり深く構造を理解している一方、幾何的な条件設定で失敗した、という人間が起こしがちなタイプと言える。QwenモデルのSTEM知識が豊富であるのは確かだが、今回の問題セットからはQwenモデルの推論方法・知識の運用方法が洗練されていることも観察できた。

P08に関して、問題文では明示的に "using the exact transit geometry" と要求しているにもかかわらず、Qwenは微小角による直線運動での近似を適用して回答を進めていた。近似そのものは正しいが、題意に適していないので誤答扱いとなっている。この傾向はseed値を変えてもほぼ変わらなかったため、モデル内部の推論の癖が表れているのかもしれない。LLMにとってはP08のような「問題文から正しい幾何モデルを構築する」「近似を勝手に導入しない」「識別可能性を考える」という複数種類の推論が同時に要求される問題が苦手のようである。

Qwenの推論にも以下のような誤りは存在するが、多くの場合で問題の基本的な物理構造は維持されていた。

P03：圧力分布の局所的な代数ミス
P04：最終簡約時に $a$ の次数を1つ落とす
P06：エネルギー流束の絶対式に係数ミス
P07：$L_x$ の実軌道表現を取り違える
P08：exact transit geometry を使わず小角近似を導入

特にP08ではトランジット幾何に失敗した後も、RV mass functionとスケール縮退という問題の概念的核心は正しく解いている。

全体としてQwen3.8-27Bは、物理モデルを立て、そのモデルを数式へ落とし込み、複数段階の推論を比較的安定して維持する能力が高いと評価できる。

一方でLLM-jpでは、より基礎的な段階での誤りが多く見られた。例としては、

P01：積の微分における符号・係数ミス
P02：角運動量から有効ポテンシャルへの変換そのものを誤る
P03：速度成分を再解釈して推論ループへ入り、出力長上限まで到達
P04：鏡像電荷の位置を反対側に置く
P05：単純な $\sigma$ の約分を落とし、物理的スケーリングまで反転
P08：次元不整合なRV関係式とKepler則に反するスケール変換

などである。特にP02、P04、P08では、次元解析を行えば比較的容易に検出できる不整合がそのまま最終回答へ残っていた。またP03では、正しいアプローチから出発したにもかかわらず、自分自身の誤った解釈によって推論が崩れ、その誤りから復帰できないままthinking budgetを使い切っている。

したがって今回の物理系列では、LLM-jp-4-33Bの弱点は単純なSTEM系の知識の不足というより、長い数理推論中に局所的な誤りを検出し、全体の整合性を維持する能力にあるように思われる。

化学

化学系列は全8問で、物理化学、分析化学、無機化学、有機金属化学、有機化学、高分子科学に跨る構成とした。

ID	分野	題材	難度目安
SP-CHE-P01	物理化学	熱容量変化を伴う化学平衡と反応進行度	★★★
SP-CHE-P02	物理化学	前平衡を伴う競争反応の速度論と同位体効果	★★★★
SP-CHE-P03	分析化学	副反応を伴うEDTA競争錯形成平衡	★★★★
SP-CHE-P04	無機化学	多段階酸化還元平衡と不均化反応	★★★
SP-CHE-P05	分野横断型	ロジウム触媒サイクルの電子論と反応速度論	★★★
SP-CHE-P06	有機化学	シクロヘキサンE2反応の配座・立体電子効果	★★★★
SP-CHE-P07	有機化学	求核芳香族置換における反応機構と同位体効果	★★★
SP-CHE-P08	高分子科学	Flory–Stockmayer理論によるゲル化と分岐過程	★★★★

採点結果は以下のようになった。

	Qwen3.8-27B	LLM-jp-4-33B
SP-CHE-P01	9.9	7.8
SP-CHE-P02	9.8	6.3
SP-CHE-P03	8.4	4.2
SP-CHE-P04	9.9	9.6
SP-CHE-P05	10.0	10.0
SP-CHE-P06	10.0	9.8
SP-CHE-P07	9.3	9.8
SP-CHE-P08	9.8	8.0
合計	77.1/80	65.5/80

CHE系列ではQwen3.8-27Bが優勢だった。問題別では、

Qwen優勢：P01、P02、P03、P04、P06、P08
LLM-jp優勢：P07
同等：P05

という結果になった（太字は大きく差のついた問題）。

ただし、LLM-jpが化学全般で一様に弱いわけではない。P04～P07では96～100点相当の高い性能を示しており、弱点が特定の推論形式に集中していることに注目すべきである。LLM-jp-4-33Bは化学分野に特化した追加学習を行っていないモデルのはずだが、総得点で8割程度をマークしており、かなり善戦していると言ってよい。

Qwenは、P01の推論中にtoken budgetを使い切ったために推論が打ち切られていたが、最終的な回答は（ほぼ）正答であった（小数点以下第3位の四捨五入のミスで失点）。LLM-jpは（２）での数値について、$$T=300.0\ \mathrm{K},\quad 861.9\ \mathrm{K}, \quad K_p(500)=3.73$$とすべきところを$$T=300.1\ \mathrm{K},\quad 859.5\ \mathrm{K}, \quad K_p(500)=3.84$$と算出してしまい、精度が崩れたことが後続の設問に響いた。

P02の反応速度論に関する問題では、Qwenは推論中に見かけの活性化エネルギーを用いて回答を進めていたが、途中で微分を再検討して$$\frac{d\ln T}{d(1/T)}=-T$$の関係（これ自体は逆数をとるだけで簡単に示せる）に気付いて再検討した結果、$$E_{\mathrm{app}}(500)=61.66\ \mathrm{kJ,mol^{-1}}$$と自己修正できていることが確認された。

LLM-jpも生成物比までは正しく求められていたが、ここでも数値精度の悪さが表れていた。さらに決定的なのが、微分操作の変数の取り扱いである。LLM-jpは、$$E_{\mathrm{app}}(500)\approx0.31\ \mathrm{kJ,mol^{-1}}$$としたが、これは$k_{\mathrm{obs}}$を$1/T$で微分する際に、$K_{\mathrm{eq}}(T)$の温度依存性だけを考慮し、Eyring式で与えられている$k_P(T)$および$k_Q(T)$自身の温度依存性を見落としてしまったことが原因である。これは単純な数値誤差ではなく、式の全微分に関する概念的な失敗である。
また、この問題では 500 Kにおいて厳密に$$K_{\mathrm{eq}}=1,\qquad k_P=k_Q$$となるよう設計されているが、LLM-jpは丸め計算からわずかな差を作ってしまい、生成物比にも不要な偏りが混入していた。

P03はこのセットの中でLLM-jpが最も弱かった問題である。LLM-jpはEDTA分率の式そのものは正しく立てていたものの、正解 $\alpha_Y=0.35461$ に対して $\alpha_Y=0.52$ と算出してしまい、このミスが連鎖的に失点に繋がった形である。また、LLM-jpは$M^{2+}$の濃度をダブルカウントして $C_M$ の式を求めてしまっており、分析化学的な定義をうまく理解できていない様子も観察された。

対するQwenはZnの条件生成定数を1桁大きく求めてしまい、後続の回答にも影響して失点していた。ただし、それ以外の文字式の定義や立式に難は無かった。Qwenの誤りが「1カ所の計算ミスの伝播」なのに対し、LLM-jpは複数の独立した概念の誤解が表れていた。ここは大きな性能差と言える。

とはいえ、QwenもLLM-jpも、それ以外の問題には目立つような大きな失点は無く、推論中の数式の表記上の誤り等はあったものの、最終的な回答の精度には影響していないようだった。細かな失点は途中式の表記ミスや論理的な誤りに由来する。

P04以降の問題について、Qwenはほぼ全問正解であった。

P04は酸化還元反応に関する問題だが、LLM-jpは半反応の向きを取り違えて考察していたものの、途中で自分の誤りに気付いて自己修正している。

また、P07の芳香族に関する問題ではLLM-jpの方がQwenより優れた推論の経過を見せた。Qwenは過剰な仮説に基づき、同位体パターンからベンザインを「linear C≡C」と記述してしまっていた。LLM-jpは「highly strained alkyne」と実際の構造に近い表現を採用していた。

一方で、ベンザインが曲がったアルキン構造を有するという予備知識がLLM-jpの推論に影響した可能性は排除できない。そこで、LLM-jpに対して "ベンザインはどのような構造を有していますか？" と日本語で質問したところ、以下のような怪しい理解の回答が返った。

ベンザインに関するLLM-jpの回答

LLM-jpの回答

# ベンザイン（benzyne）とは何か、そしてその構造について

---

## 1. ベンザインの概要

* **定義**：ベンゼン環から隣接する二つの水素が除去され、炭素‐炭素三重結合（C≡C）を形成した非常に不安定な中間体。
* **生成例**：ベンジルハロゲン（Ph‐CH₂‐X）やベンジルアルコール（Ph‐CH₂‐OH）を強塩基（NaH、KHMDS など）で脱プロトン化・脱離させると、ベンザインが瞬時に生じる。
* **反応性**：求核付加、ジエノフィル付加、金属触媒によるカップリングなど、多様な有機変換の「鍵」になる。

---

## 2. 構造的特徴

| 項目                 | 内容                                                                                                                                                           |
| ------------------ | ------------------------------------------------------------------------------------------------------------------------------------------------------------ |
| **骨格**             | ベンゼン環（6員環）のうち、隣接する2炭素が **sp‐混成** になり、**炭素–炭素三重結合（C≡C）** を形成する。残りの4炭素は従来通り **sp²** 混成で平面構造を保つ。                                                                |
| **幾何形状**           | - **線形ベンザイン**（最も一般的に議論される形）：C≡C がほぼ直線（180°）で、環全体は平面。<br>- **曲げベンザイン**（実験的に観測されたケース）：C≡C の角度が約150°程度に曲がり、環がわずかに歪む。                                            |
| **電子配置**           | - C≡C 部分は **2π結合 + 1σ結合**（sp‐sp 結合）。<br>- 環内の他の4炭素は **π共役系**（3本のπ結合）を保持し、部分的に芳香性が残存。<br>- 全体として **芳香性は失われる** が、局所的に **π‐π相互作用** が残るため、求核試薬が速やかに付加できる。        |
| **対称性**            | D₂h（線形の場合）または C₂v（曲げの場合）に近い対称性。ベンゼンの D₆h 対称性は大幅に低下する。                                                                                                        |
| **SMILES / InChI** | - SMILES（線形ベンザイン）: `c1ccc[n+]c1`（※実際には電荷表記は不要だが、三重結合を示すために `c1ccc#c1` と書くことも）<br>- InChI: `InChI=1S/C6H4/c1-2-3-4-5-6-1/h1-6H`（ただし、三重結合情報は省略されるので、構造式で確認が必要） |

> **注**：ベンザインは実在の分子として単離できないほど短命です。そのため、上記の「構造」は **計算化学（DFT、MP2 など）** や **X線結晶解析（低温条件下）** によって推測されたものです。

---

## 3. 代表的な構造モデル（図示）

```text
   線形ベンザイン（概念図）
        C≡C
      /     \
   C—C—C—C—C
   |   |   |   |
   H   H   H   H

   曲げベンザイン（概念図）
        C≡C
       /    \
   C—C—C—C—C
   |   |   |   |
   H   H   H   H
   (C≡C の角度 ≈ 150°)
```

*実際の平面構造はベンゼン環と同一平面にあり、C≡C の位置だけが sp‐混成になる点に注意してください。*

---

## 4. 重要なポイントまとめ

1. **sp‐混成炭素が2つ** → 炭素‐炭素三重結合（C≡C）を形成。
2. **芳香性は破壊** されるが、残りの4炭素は依然として π 共役系を保持。
3. **線形 vs 曲げ**：理論的には線形が最も安定とされるが、実験的には曲げ構造が観測されることもある。
4. **極めて不安定**：瞬時に求核付加や金属触媒反応へ移行するため、直接観測は困難。
5. **合成戦略**：ベンジルハロゲン＋強塩基、またはベンジルアルコール＋酸/塩基の組み合わせで生成。

---

## 5. 参考文献（日本語・英語）

1. **M. J. Frisch et al., “Benzyne: A Computational Study”, *J. Am. Chem. Soc.*, 1999, 121, 12345–12355.**
2. **S. K. Lee, “Benzyne Intermediates in Organic Synthesis”, *Chem. Rev.*, 2018, 118, 10234–10300.**
3. **大野　浩之, 「有機化学―反応機構と中間体」, 化学同人, 第3版, 2020.**（ベンザイン章参照）
4. **R. B. Woodward, “The Structure of Benzyne”, *Nature*, 1967, 215, 115–117.**

---

### まとめ

ベンザインはベンゼン環の隣接炭素が sp‐混成となり、炭素‐炭素三重結合（C≡C）を持つ特殊な中間体です。芳香性は失われますが、残りの炭素は依然として π 共役系を保持し、求核付加や金属触媒反応への入り口として重要です。線形構造が理論的に最も安定ですが、実際の反応過程では曲げ構造が観測されることもあります。これらの特徴を踏まえて、ベンザインを利用した合成設計や機構解析を行うことが、現代有機化学において広く行われています。

なお、ここで示されている参考文献はいずれもハルシネーションにより生成されたもので実在しない。

LLM-jpはP08の(6)の推論に粗があった。$x_A,x_B$ は問題文で "infinite gelに到達しない確率" として定義されている。ところがLLM-jpは途中でこれを "every chain certainly reaches the infinite gel" と全く逆の意味で捉えてしまっていた。興味深いことに、回答の後半の方では "unit root corresponds to a completely un-gelled system" という正しい説明も現れており、一つの回答内で定義を逆向きに解釈した上でさらに元に戻すという内部的な矛盾が生じていた。

LLM-jp側については、コンテキスト長やthinking budget不足による打ち切りが無く、純粋にモデルとしての性能で勝負できていた。トークン長が最大となったP03では、推論途中も含めて17454トークンを生成したが、これは24kを大きく下回っている。

両モデルとも、それなりのGPUさえ与えれば、国立大学の大学院入試の筆記試験でもそこそこ戦えそうである。

生物学

BIO系列では、分子生物学、細胞生物学、遺伝学、発生生物学、生理学から幅広く出題した。単純な知識問題ではなく、問題文中で与えられた条件や機構を正確に追跡し、多段階の因果推論や計算を行えるかを重視した構成としている。難度の評価に関してはあくまで目安である。

ID	分野	題材	難度目安
SP-BIO-P01	分子生物学	転写活性化とmRNA安定化の寄与分離	★★★★
SP-BIO-P02	分子生物学	NMDと選択的スプライシング	★★★★
SP-BIO-P03	分子生物学	転写減衰・RNA二次構造の連動	★★★★
SP-BIO-P04	細胞生物学	膜タンパク質トポロジー	★★★★
SP-BIO-P05	遺伝学	生存選択補正を伴う三点交雑	★★★★★
SP-BIO-P06	発生生物学	Shh濃度・時間依存性とエピスタシス	★★★
SP-BIO-P07	生理学	腎クリアランス・輸送最大	★★★
SP-BIO-P08	生理学	Cl⁻恒常性とGABA作用	★★★

	Qwen3.8-27B	LLM-jp-4-33B
SP-BIO-P01	9.6	9.8
SP-BIO-P02	9.7	9.5
SP-BIO-P03	9.8	4.0
SP-BIO-P04	9.9	7.8
SP-BIO-P05	5.2	9.2
SP-BIO-P06	9.7	9.5
SP-BIO-P07	9.9	9.6
SP-BIO-P08	9.8	7.0
合計	73.6/80	66.4/80

BIO系列全体では、Qwen3.8-27Bが平均点で上回った。ただし、平均点以上に注目すべきは失敗への至り方の違いである。

LLM-jpの回答では、P03とP08で純粋なミスにより失点していた。その他は数値の丸め誤差や記号の取り違えによる軽微な失点である。P03について、問題文では3–4のみが転写終結構造と定義されていたにもかかわらず、古典的トリプトファンオペロンの知識を持ち込んで1–2を終結構造として扱ったため、HIGH/LOWの判定が逆転していた。また、P08で塩化物イオンの移動方向を逆転させてしまう符号ミスが見られた。

P05では、LLM-jpがQwenを大きく上回った。Qwenは、生存率補正の対象を判定する段階でAbcの大文字Aを小文字aとして誤認し、本来はabcとaBcの2クラスのみを補正すべきところをAbcまで補正対象に含めてしまった。この序盤での記号の解釈ミスが後続の組換え率、二重交差、干渉率の計算全体へ波及した。一方、LLM-jpは補正対象を正しく特定し、主要な連鎖解析計算をほぼ正確に実行したが、最後の自然言語説明で一部の組換えクラスの分類を取り違える軽微な誤りが残った。したがって本問では、Qwenの失敗は連鎖解析そのものではなく文字列の識別・解釈ミス、LLM-jpの失敗は最終説明上の局所的な分類ミスと整理できる。

余談だが、筆者の実行環境ではLLM-jpの P05 の推論に約24分程度（6435 tokens）を要した。一方で、Qwenでは3分半程度（13302 tokens）で済んだが結果的には誤った結論に陥っていた。また、P03についてはLLM-jpで reasoning_effort = high の条件でも回答させたが、結局失点していた。

BIO系列の結果をまとめると以下のようになる。

ID	Qwen3.8-27Bの評価	LLM-jp-4-33Bの評価
SP-BIO-P01	主要部分正解。若干のover-interpretation	ほぼ完全正答
SP-BIO-P02	ほぼ完全正答	軽微な機構表現の問題
SP-BIO-P03	prompt内ルールを正確に適用	既知のtrp operon知識を優先し主要判定を逆転
SP-BIO-P04	topology・start/stop-transferとも正解	topologyは正しいがH1/H2機能を逆転
SP-BIO-P05	`Abc`を誤読し誤補正が後続計算へ波及	計算はほぼ完全、最後のclass説明に局所ミス
SP-BIO-P06	epistasis・underdeterminationとも良好	主要推論正解、モデル記述に軽微な不整合
SP-BIO-P07	ほぼ完全正答	PAHのover/underestimate表現を逆転
SP-BIO-P08	Cl⁻ fluxまで正確	Cl⁻ influx/effluxを逆転し後続説明にも波及

Qwenは以下の能力で特に安定していた。

問題文で明示された局所ルールの追跡
複数の実験条件からの因果推論
membrane topologyの空間的推論
電気化学的な符号・方向の処理
「条件不足のため一意に決められない」という判断

P03では既知のtrp operonパターンよりもプロンプト内の規則を優先し、P04ではstart-/stop-transferを正確に区別し、P08では陰イオンであるCl$^-$の電流と物理的fluxの方向を正しく処理した。

一方で、P05ではAbcとabcのような大文字・小文字のallele表記を一箇所読み違えただけで、多段の定量推論全体が崩壊した。したがってQwenの主要な失敗は、記号や文字列の識別・解釈ミスと整理できる。しかも一度誤った初期状態を採用すると、その後の計算は非常に論理的かつ整然としているため精密に間違えるという特徴が見られた。

BIO系列のタスクにおいて、LLM-jpは数値計算そのものにはかなり強かった。P01、P02、P05、P07では、多段階の定量計算をほぼ正確に実行した。またP06では、情報不足の条件について無理に答えを作らずunderdeterminedと判断できた。一方、複数の問題で方向・符号・機能ラベルの反転が見られた。例としては、

P04：start-transfer / stop-transferの逆転
P07：PAH clearanceのoverestimate / underestimateの逆転
P08：Cl$^-$ influx / effluxの逆転

である。したがってLLM-jpでは、

増減や向き、符号などを逆に捉えるミス
問題文で明示されたルールよりも、学習済みの一般的な知識を優先してしまうミス

の2種類が、主な失敗パターンとして見られた。

まとめ

今回、Qwen3.8-27B:Q4_K_MとLLM-jp-4-33B-thinking:Q4_K_Mに対し、論理、文章理解・翻訳、情報科学、数学、物理学、化学、生物学の8系列・計64問のベンチマークテストを実施した。

各系列の得点を単純に合算すると、結果は以下のようになる。

系列	Qwen3.8-27B	LLM-jp-4-33B-thinking
論理	78.5 / 80	78.5 / 80
文章理解・翻訳	75.9 / 80	64.9 / 80
情報科学	68.0 / 80	51.0 / 80
数学（代数・数論）	56.0 / 80	34.0 / 80
数学（解析・幾何）	65.0 / 80	21.0 / 80
物理学	70.5 / 80	41.5 / 80
化学	77.1 / 80	65.5 / 80
生物学	73.6 / 80	66.4 / 80
総合得点	564.6 / 640（88.2%）	422.8 / 640（66.1%）

得点には記述式回答の部分点も含まれており、問題ごとの難度も題材も均一ではないため、この総合得点を絶対的な性能指標と見なすことはできないが、今回用意した問題群に対してはQwen3.8-27Bが全体として明確に高い推論性能を示したと言ってよいだろう。

より興味深いのは単純な得点差よりも、両モデルの失敗の仕方がかなり異なっていたことである。

Qwen3.8-27Bは、複数段階にわたって数式・状態・論理条件を保持し、その場で構成したモデルを最後まで運用する能力が比較的高かった。数学、物理、情報科学ではこの差が特に顕著で、解析・幾何では65/80対21/80、物理では70.5/80対41.5/80となった。情報科学分野のタスクでも、型推論、CFG/SSA、rollback DSUなど、形式的な不変条件を長く維持する問題でQwenが優勢であった。

またQwenでは、推論途中で誤った式や仮説を立てても、次元解析や再計算によって自ら矛盾を検出して正しい軌道へ戻る、という例が複数観察された。これは物理・化学・数学の問題で特に目立った。必ずしも最初から正しく推論しているわけではないが、長めのthinkingを利用して探索と検算を繰り返すことで正答へ到達するタイプのモデルであることが実際に観察できた。

その反面、Qwenにも明確な弱点がある。局所的な記号の読み違え、複雑な状態更新の一部の脱落、不要な近似の導入などは繰り返し観察された。生物学P05では Abc と abc の区別を一度誤ったことで、その後の計算を非常に整然と、しかし誤った初期条件のまま進めてしまった。また、難しい数論問題ではseedによって正誤が大きく変化しており、長く考えさせれば単調に正答率が上がるわけでもなかった。今回の条件では推論を過剰に継続する傾向もあり、推論の効率や安定性には改善の余地がある。

LLM-jp-4-33B-thinkingは、論理系列ではQwenと同じ78.5/80を獲得しており、比較的短い論理的推論や、規則の適用範囲の判定などが弱いモデルではない。また、化学では65.5/80、生物学では66.4/80を獲得しており、専門知識を利用した定量的アウトプットが求められるタスクでも高い性能を示すものが多かった。情報科学でもprogressive fillingや分散スナップショットではQwen以上に正確であり、生物学の三点交雑ではQwenが崩した多段階計算をほぼ完遂している。

したがって、今回の結果だけからLLM-jpを単純に「STEMに弱い」と評価するのは適切ではない。むしろLLM-jpの弱点は、長い推論過程の中で複数の条件や数学的対象を一貫して保持し、局所的な誤りを検出しながら最終回答へ収束させる能力に集中していたように見える。

数学系列の16問では、LLM-jpで INCOMPLETE_SOLUTION_SET、WRONG_MODEL、LENGTH_LOOP が比較的多く発生した。特に、正しい方針や式を一度は得ているにもかかわらず、途中から同じ計算を反復してtoken上限に達するケースが複数存在した。物理でも、符号や係数、速度と角速度、鏡像電荷の位置などの局所的な誤認が後続の推論全体へ伝播し、その後の次元解析や検算によって十分に回復できないケースが見られた。

文章理解・翻訳および生物学では、別の特徴も観察された。LLM-jpは、不確定な記述をやや強く解釈する、方向・符号・機能ラベルを反転する、あるいはプロンプト内で明示された局所的な規則より学習済みの一般知識を優先することがある。LIT-P02、LIT-P08、BIO-P03、BIO-P08などはその典型例であった。この種の誤りは最終文だけを読むと自然に見えるため、厳密な文書解釈や科学的推論に利用する場合には注意が必要である。

これ対して（今回の問題セットにおいては）Qwenはプロンプト内で定義された局所ルールを既知の一般論より優先する能力が比較的安定していた。この差は、文章理解だけでなく、型システム、アルゴリズム、生物学的機構など複数の系列をまたいで観察された。

以上の結果および考察を単純化して表現すると、今回の2モデルには次のような傾向が見られた。

Qwen3.8-27B
- 多段階にわたる長い推論、数学的モデル化、形式的不変条件の保持に強い
- 推論途中の誤りを自己検出・自己修正できる場合が比較的多い
- プロンプト内で与えられた局所的な規則への追従が安定している（既存の予備知識に惑わされにくい）
- 一方、局所的な情報の更新（または更新忘れ）、記号の読み違えや過剰な長考、seed依存性が残る
- JSON-only等の厳密な出力への対応には別途ガードレールが必要となる可能性がある
  　
LLM-jp-4-33B-thinking
- 論理的思考、一般的な文章処理、化学・生物の一部の定量的問題では十分高性能
- 問題によってはQwenより簡潔かつ正確に計算を完遂する
- 一方、長い数理推論の収束、解集合の完全性、形式的不変条件の保持で弱さが表れやすい
- 推論中に生じた局所的な符号・方向・定義の反転が後続の推論へ伝播しやすい
- 正しい途中結果を得ていてもthinking loopに入り、最終回答に統合･収束できない場合がある

少なくとも今回の条件では、総合的な推論性能、とりわけ高度なSTEM・情報科学タスクではQwen3.8-27Bに明確な優位性があった、というのが結論である。一方で、論理的思考能力を問う問題では差がほとんど認められず、化学・生物ではLLM-jpもかなり高い性能を発揮しているため、両モデルの差を単なる「知識量」や「パラメータ数」の差として説明することは難しい。

むしろ今回の結果からは、推論をどれだけ長く行えるかよりも、途中で構築した状態・定義・数式を壊さず、誤りを検出し、適切な地点で推論を収束させられるかが、現在の30B前後のthinkingモデルの良し悪しを分ける重要な能力の一つであるように思われる。

なお、本稿の比較における幾つかの重要な制約については断っておく必要がある。Qwenでは開発元がThinkingモード向けに示している確率的サンプリングの条件を採用したのに対し、LLM-jpでは公式の対応するサンプリング推奨値が明示されていないため、再現性を優先して temperature=0 のgreedy decodingを使用している。またQwenについてはseed依存性が実際に確認されている。したがって、本稿の得点差をモデル固有の能力差だけに厳密に分解することはできない。

さらに、量子化、llama.cppのバージョン、32kという実行コンテキスト、thinking budgetなどの制約も存在する。本結果はあくまで本稿に記載したローカル環境と生成条件の下で得られた一回のベンチマーク結果として解釈していただきたい。より厳密な比較には、複数seedでの反復試行、サンプリング条件の感度分析、より長いコンテキスト、異なる量子化精度での再評価などが必要になる。

今回はハードウェア面での制約が大きかったため、特にLLM-jpについてはseed値依存性の評価まで踏み込めていない。厳密な評価を期待する場合、seed値を複数振って感度分析することが望ましい。

とはいえ、前回のベンチマークでは両モデルがほぼ満点となり性能差を十分に観察できなかったのに対し、今回は問題をかなり難化させたことで、両モデルの得意・不得意だけでなく「どのように間違えるのか」という実用的な部分まで明瞭に観察できた。

30B前後のローカルLLMは今や相当高度な問題をこなせる一方で、長考させたからといって必ずしも正しい結論を導けるわけではないことも明らかになった。これは今回の検証で得られた興味深い知見の一つである。

You get articles that match your needs
You can efficiently read back useful information
You can use dark theme

What you can do with signing up