2026年10月19日現在、本記事更新中
・キャンペーンに出してみたいという気持ちやまず、いま書けているところで出しました…・現状GitHubへのコミット履歴のURLに任せているコードの説明は、本記事に加筆する予定です
・検証結果の考察も、より厚みを持たせたいです…
本記事では、llm-jp-evalとllm-jp-eval-inferenceを変更し、オープンウェイト版意思決定モデルの日本語性能を比較した方法と結果を紹介する。オープンウェイト版意思決定モデルの場合、9B級では、NLI・CR・LMの性能はJevと遜色なかったが、HE-JA・HE-ENは約0.2ポイント水をあけられていた。そのため、HE-JA・HE-ENに近いユースケースの場合は、事後学習を要する可能性がある。一方、意思決定モデルとそのベースのLLMを比べた場合、意思決定モデルのほうがポイントが高い傾向にある。その背景として、意思決定モデルが選択式のベンチマークあるいはそれに類似した学習データを学習していた可能性も考えられるが、各意思決定モデルのモデルカードからは定かではない。
TypeSafe AI社Jevの登場により、「意思決定モデル」あるいはSystem One Modelと呼ばれる新しいAIが俄かに注目を集めている。質問文や思考の条件と選択肢を与えたときに、瞬時に選択結果とその確率を構造化されたデータで返却するモデル、とのことである。Jevや「意思決定モデル」の詳細は、下記のような既存記事に委ねたい。
- Introducing System One Models & Jev
- 「TypeSafe AI、AIモデル「Jev」の早期提供を開始——判断結果を構造化データで高速出力、ソフトウェアでの活用を想定」
- 「『Jev』とは “文章を書かないAI”がなぜ話題に？ 元OpenAI研究者が開発、『“スマートなif文”と考えてみて』」
すでにJevの性能評価は、日本語や日本国内という環境でも行われている。だが、性能評価者それぞれのユースケースに特化したレポートが多く、自分のユースケースに当てはまるのか分からないこともある。そのような中で、「日本語ベンチマークでJevの性能を検証する」に触発され、汎用的な日本語ベンチマークテストである「llm-jp-eval」によって、複数個の意思決定モデルを評価したいと考えた。もちろん、ベンチマークテストが自分のユースケースに近いことは少ないかもしれない。ただ、どのモデルが日本語に長けているかを判断する上で、多面的かつ統一的にモデル性能を測れるベンチマークテストは依然として有効とも考える。
また、Jevの登場直後から、オープンウェイトの意思決定モデル、つまりローカル端末やオンプレミスないし自社で契約したクラウド環境上といった「自分の環境」の中に配置して動かせる意思決定モデルも登場している。これらが利用できると、以下の点でメリットがある。
- プロプライエタリな意思決定モデルの運用に必要な外部通信をせずに、データを保全しやすい自分の環境下で意思決定モデルを運用できる
- 事後学習等のモデル自体への改造も含めて、自分の環境下の意思決定モデルに適用できる
（プロプライエタリなモデルの場合、事後学習できても学習済みモデルをモデルの提供会社の環境から移せない） - プロプライエタリな意思決定モデルを提供している会社と取引するための審議・与信・決裁・決済などをする傍ら、開発環境で意思決定モデルを試せる
一方、これらのオープンウェイト意思決定モデルは、言語モデルを推論するための各種パッケージvllmやtransformersでも開発中のバージョンでのみ動作する。llm-jp-evalで推論・評価する際には、これらの開発中のパッケージをllm-jp-evalにも導入しなくてはならない。
そこで、この記事では、llm-jp-evalとその推論モジュールllm-jp-evalに開発版のvllmやtransformersを導入し、オープンウェイトで商用利用可能な意思決定モデルを推論・評価した方法を示したい。
検証対象モデル
大枠
-
オープンウェイトで商用利用可能な意思決定モデル
（≒ローカル端末やオンプレミスないし自社で契約したクラウド環境上といった「自分の環境」の中に配置して動かせる商用利用可能なモデル） - 日本語に対応しているモデル
- 精度BF16/FP16の下で、NVIDIA GeForce RTX 5090（専用GPUメモリ32GB；以下、RTX 5090）というGPUで動かせるモデル
当初予定と実際
当初は、「Jev・Clef・d1・Jeff・Kev…意思決定モデル（System One）を仕組みから比較する【2026年10月版】」や「『GLiNER2.5』を試す」を参考に、下記のモデルを検証対象に考えていた。
- Cloudflare/clef-flash
- Kev
- jaredpalmer/kev-9b
- jaredpalmer/kev-4b
- Jeff
- jeff-legacy/Jeff-Gemma4-E2B
- jeff-legacy/Jeff-Qwen3.5-2B
- jeff-legacy/Jeff-Qwen3.5-0.8B
- GestaltLabs/Jeff-1
- convaiinnovations/laya-multilingual
- fastino/gliner2.5-multi-v1
だが、下記のように、独自の推論設定・実行環境を要しvllmが未対応のものが多かった。そこで、vllmが対応している意思決定モデルや、その意思決定モデルのベース（種車？）となっているLLMを検証することにした。
| 例 | パラメタ数 | ベースモデル | ベースモデルへの事後学習方式 | ライセンス | BF16/FP16でRTX 5090で動作するか | Hugging Faceでの提供有無 | vLLMでのサーバー化（2026年10月13日現在） |
|---|---|---|---|---|---|---|---|
| 【参考】Cloudflare/clef | 27B | Qwen/Qwen3.8-27B | LoRA | apache-2.0 | 不可能 | 有 | 未対応 |
| 【参考】jaredpalmer/kev-27b | 27B | Qwen/Qwen3.8-27B | フルファインチューニング | apache-2.0 | 不可能 | 有 | 未対応 |
| Cloudflare/clef-flash | 9B | Qwen/Qwen3.5-9B | 詳細不明 | apache-2.0 | 可能 | 有 | 対応 |
| jaredpalmer/kev-9b | 9B | Qwen/Qwen3.5-9B-Base | LoRA | apache-2.0 | 可能 | 有 | 未対応 |
| jeff-legacy/Jeff-Gemma4-E2B | 5B | google/gemma-4-E2B-it | フルファインチューニング | apache-2.0 | 可能 | 有 | 未対応 |
| jaredpalmer/kev-4b | 4B | Qwen/Qwen3.5-4B-Base | LoRA | apache-2.0 | 可能 | 有 | 未対応 |
| GestaltLabs/Jeff-1 | 4B | Qwen/Qwen3-4B-Instruct-2507 | LoRA | apache-2.0 | 可能 | 有 | 未対応 |
| LiquidAI/d1-3B | 3B | LiquidAI/LFM2.5-VL-3B | 詳細不明 | lfm1.0（年商1,000万米ドル未満の場合商用利用可；制限の付け方がLlamaライセンスに近い） | 可能 | 有 | 対応 |
| jeff-legacy/Jeff-Qwen3.5-2B | 2B | Qwen/Qwen3.5-2B | フルファインチューニング | apache-2.0 | 可能 | 有 | 未対応 |
| jeff-legacy/Jeff-Qwen3.5-0.8B | 0.8B | Qwen/Qwen3.5-0.8B | フルファインチューニング | apache-2.0 | 可能 | 有 | 未対応 |
| convaiinnovations/laya-multilingual | 0.322B | mmBERT-base | （事前学習モデル？） | apache-2.0 | 可能 | 有 | 未対応 |
| fastino/gliner2.5-multi-v1 | 0.287B | mDeBERTa-v3-base | （事前学習モデル？） | apache-2.0 | 可能 | 有 | 未対応 |
| 【参考】Jev・Microsoft-Decision-1などのプロプライエタリモデル | 不明 | 不明 | 不明 | （プロプライエタリモデル） | 不明 | 無（各社インフラからのAPI提供） | 未対応 |
hotchpotch/S1MB-leaderboardなどの意思決定モデルのリーダーボードには、様々なモデルが出ており、上掲のモデルよりベンチマークテストで優れた成績を出しているモデルもある。しかし、CC-BY-NC 4.0でライセンスされているopenjev/OpenJev-Flash-9Bのように、非商用利用のみ可能なモデルは今回の検証対象から除外した。
検証方法
アクセス承認が必要なデータセットに対する承認手続き
アクセス承認が必要なデータセットは、下記の2つである。
承認していない場合、task installで以下のエラーが出る。
huggingface_hub.errors.GatedRepoError: 403 Client Error. (Request ID: Root=<Request ID>)
Cannot access gated repo for url https://huggingface.co/api/datasets/<dataset_provider>/<dataset>.
Access to dataset <dataset_provider>/<dataset> is restricted and you are not in the authorized list. Visit https://huggingface.co/datasets/<dataset_provider>/<dataset> to ask for access.
task: Failed to run task "install": exit status 1
そのため、検証前に各データセットのHugging Faceリポジトリで承認手続きを完了させておく。
llm-jp-evalに対する変更
llm-jp-evalのコードではアクセスできないデータセットを利用するためのコード変更
https://github.com/NVIDIA/TensorRT-LLM/issues/18380#issue-5279934745 によると、2026年8月29日時点からmmlu_enのデータセットへのURLはリンク切れになっていた。
そのため、src/llm_jp_eval/jaster/mmlu_en.pyを書き換え、
Center for AI SafetyのHugging Faceのmmlu用レポジトリからdatasets.load_dataset()でダウンロードする方式に変更した。それに伴い、Testデータなどのデータ種別ごとにデータを分ける処理や各データの前処理の工程を、src/llm_jp_eval/jaster/mmluprox.pyに倣って変更した。正直mmlu_enはmmluproxと近いだろうと思っただけでmmluproxの_download()とpreprocess_evaluation_data()を取り入れているため、変更後のsrc/llm_jp_eval/jaster/mmlu_en.pyの正確さには自信がない。御批正賜りたい。
詳しくは下記をご覧いただきたい。
選択式データセットを対象とする評価設定とデータセット一覧を追加する
選択肢から1つだけ正解を選ぶ形式（択一選択式）であり、全ての問題で選択肢が固定の個数・固定のラベルになっているベンチマークテストのみ実施した。たとえば、全ての問題で選択肢が4つあり、どの問題でもラベルがA～Dのアルファベットになっているようなベンチマークテストのみ実施した。
自由記述で回答する形式（自由回答式）のベンチマークテストは実施しなかった。また、選択式であっても、bigbenchhard_*のように問題ごとに選択肢の個数や選択肢のラベルが変わるものは実施しなかった。また、一見選択式であっても、chabsaのように読解すべき文章からの特定表現の抽出（自由記述のような形式）も伴う回答や、jculture-mcqのように正解数が1個とは限らないベンチマークテストは実施しなかった。
選択式のベンチマークテストは、task installやtask prepare dataset=allで作成されるベンチマークテストのJSONファイル（デフォルトでは、local_files/datasets/2.1.5/配下に作成される。例: local_files/datasets/2.1.5/evaluation/test/jamc-qa.json）で、キーlabel_listの値（選択肢のリスト）が空でないものを採用した。一方で、winogrande_xlとopenbookqaは、「日本語ベンチマークでJevの性能を検証する」では検証対象外だったが、選択肢のリストがlabel_listにあるため、検証対象とした。
変更履歴は、下記をご覧いただきたい。
llm-jp-eval-inferenceに対する変更
詳しくは下記をご覧いただきたい（※加筆修正をお待ちください…）
検証対象モデルは、vllmのvllm/entrypoints/openai/decisions/strategies.pyの下記実装に従って、どのようなstrategy（推論方法）で最終的な出力を出すかがルーティングされる。
これを表にまとめると、下記の通りである。
| モデル | 選択される Strategy | 推論方法 |
|---|---|---|
| Cloudflare/clef-flash | ClefFlashStrategy | joint-schema ヘッド・token_classify |
| vllm-sr/d3-edge | D3Strategy | 専用読み出しヘッド・classify |
| vllm-sr/d3-flash | D3Strategy | 専用読み出しヘッド・classify |
| LiquidAI/d1-3B | LiquidStrategy | d1 固有のプロンプトとラベルトークンの確率 |
| Qwen/Qwen3-0.6B | NextTokenStrategy | 回答位置のラベルトークンの確率 |
| Qwen/Qwen3.5-9B | NextTokenStrategy | 回答位置のラベルトークンの確率 |
検証結果
オープンウェイト版での言語別のベンチマークテストの結果は下記のとおりである。
さらに下記は「日本語ベンチマークでJevの性能を検証する」でのJevの検証結果である。
両者を比べると、9B級オープンウェイト版意思決定モデル（Cloudflare/clef-flashとvllm-sr/d3-flash）の場合、NLI・CR・LMの性能はJevと遜色なかったが、HE-JA・HE-ENは約0.2ポイント水をあけられていた。そのため、HE-JA・HE-ENに近いユースケースの場合は、事後学習を要する可能性がある。一方、意思決定モデルとそのベースのLLMを比べた場合、意思決定モデルのほうが高得点傾向にある。その背景として、意思決定モデルが選択式のベンチマークあるいはそれに類似した学習データを学習していた可能性も考えられるが、各意思決定モデルのモデルカードからは定かではない。
データセット別スコアの成績は、下記である。gpqa_diamond_jaとjamc_qaが軒並み低得点だった。
推論時間の比較は、下記のとおりである。意思決定モデルでは、推論時間の短さが訴求されることがある。Jevの場合の例では、0.114sすなわち114ミリ秒だが、vllmで推論させたときは、意思決定モデルもそのベースであるLLMも推論時間に差はなかった。むしろClaudeflare/clef-flashが推論時間が長い時があるのは、気になった。
