はじめに
最近、JevというSystem Oneモデルに興味を持ちました。
生成AIに「この不具合を要約して」と頼む使い方は分かりやすいです。ただ、実際の業務では文章を作る前に「これは人がすぐ確認すべきか」を決めたい場面があります。問い合わせの振り分け、監視アラートの優先度付け、審査の一次判定などです。
今回は、自動車安全情報ポータルで公開されている不具合申告を使い、重要度を5段階で判定する検証をしてみました。比較対象は、手元のGPUで動かしたGPT-OSS-20Bと、OpenRouter経由で呼び出したJevです。
最初は、発生事象、不具合部品、重要度をまとめて評価するつもりでした。途中で考えが変わりました。発生事象や部品は自由文抽出なので生成LLM向きです。一方、重要度は決められた選択肢の中から優先度を選ぶ処理です。Jevを試すなら、こちらに絞ったほうがよいと考えました。
Jevとは
Qiitaで丁度いま、Jevの記事を書こうキャンペーンをしているので同じような言葉が並びますが、Jevは、会話文を返すためのモデルではなく、ソフトウェアから使う型付きの判断を返すSystem Oneモデルと呼ばれるものです。OpenRouterのDecisions APIでは、選択肢から選ぶchoice、順序尺度を返すscore、yes/noのnoulといった質問を定義して呼び出せます。[1][2]
今回の重要度判定では、次のような選択肢をJevへ渡しました。
0: 不明
1: 小
2: 中
3: 大
4: 重大
Jevに自由文で説明を書かせるのではなく、不具合申告を状態として渡し、この5つから選ばせます。返ってくるのは選択結果だけではありません。各選択肢の確率、confidence(自信)、レイテンシ、入力・出力トークン、APIコストも取得できます。
今回のデータと人手ラベル
データソースには、国土交通省の自動車安全情報ポータルで公開されている不具合情報を使いました。[3]
この情報は、自動車のユーザーが自己申告で不具合を報告しているものになります。
簡単にどのようなデータが入っているかというとカラムのみですが解説しておきます。
| カラム名 | 内容 |
|---|---|
| 番号 | 行番号 |
| 受付日 | YYYY年MM月DD日 |
| 住所 | 都道府県 |
| 申告方法 | フリーダイヤル or HP |
| 車名 | 車検証の車名(自動車メーカー名) |
| 初度登録年月 | 車検証の初度登録年月 |
| 型式 | 車検証の型式 |
| 通称名 | 一般的に呼ばれている車名 |
| 総走行距離 | 申告時の走行距離 |
| 原動機型式 | 車検証の原動機形式 (例:1KR) |
| 不具合装置 | 不具合が発生した装置の分類(例:エンジン、燃料装置など)国土交通省の方が付与している |
| 発生時期 | 不具合が発生した年月 |
| 申告内容 | 自由文で不具合が記載される |
ここから100件を人手で選び、申告内容を読んで重要度を付けました。重要度の定義は次のとおりです。
| スコア | ラベル | 判定基準 |
|---|---|---|
| 0 | 不明 | 走行可否・警告・安全影響の明示なし |
| 1 | 小 | 走行可能で、警告灯・異音・軽微な不具合のみ。運転中断や安全影響の明示なし |
| 2 | 中 | 警告灯に加えて、出力低下、走行継続困難、運転中断、または安全機能の機能低下 |
| 3 | 大 | 自走不能、エンジン停止、操舵・制動の重大機能喪失 |
| 4 | 重大 | 火災、発煙、衝突、負傷、事故へ発展 |
内訳は次のようになりました。
不明: 33件
小: 15件
中: 12件
大: 31件
重大: 9件
今回の100件は、実際の発生率を再現する無作為標本ではありません。大・重大を意図的に含めた層化パイロットです。したがって、ここでの数字はモデルの比較や見逃し事例の確認には使えますが、実運用で何%をレビューすべきかをそのまま示すものではありません。
人手で100件を読む作業はそれなりに時間がかかりました。ただ、後から結果を見返すと、この工程は省略できないと感じました。モデルが間違えたのか、ラベル定義の境界なのかを区別するには、人が決めた基準が必要です。
検証環境
GPT-OSS-20BはOllamaで動かしました。重要度を0から4のJSONだけで返すようにしています。結果は元データの列を残したParquetへ保存し、モデルの生レスポンス、レイテンシ、ロード時間、入力・出力トークンも記録しました。
JevはOpenRouterのDecisions APIを使いました。実際に解決されたモデルIDはtypesafe/jev-1.13-20260917でした。latestのような別名で呼び出す場合でも、実行結果として返った固定モデルIDを保存しておくと、後から比較しやすいです。
Jevへ渡した質問は、概ね次のようなものです。
"questions": {
"severity": {
"type": "choice",
"instructions": "申告内容だけを根拠に重要度を選ぶ",
"criteria": {
"0": "不明:走行可否・警告・安全影響の明示なし",
"1": "小:走行可能で軽微な不具合のみ",
"2": "中:警告灯、運転中断、安全機能の機能低下",
"3": "大:自走不能、エンジン停止、操舵・制動の重大機能喪失",
"4": "重大:火災、発煙、衝突、負傷、事故へ発展",
},
},
}
GPT-OSS-20Bで少し詰まった話
短いJSONを返させるだけなので、GPT-OSS-20Bのコンテキスト長は2048もあれば大丈夫だと思っていました。
実際には、1件でJSONパースに失敗しました。調べると、最終出力は空で、内部思考が1575トークンまで伸びていました。入力と合わせて2048に達し、最終JSONを出す前にdone_reason=lengthで終了していました。
コンテキスト長を4096へ戻して100件を再実行すると、JSONパースは100件すべて成功しました。
短い出力を求める処理でも、モデル内部の推論がどこまで伸びるかは別問題です。Ollamaのtotal_duration、load_duration、prompt_eval_count、eval_count、終了理由まで保存しておいてよかったと思います。
result = {
"gptoss_raw_response": raw_content,
"gptoss_raw_thinking": api_response.get("message", {}).get("thinking", ""),
"gptoss_done_reason": api_response.get("done_reason"),
"gptoss_latency_ms": latency_ms,
"gptoss_total_duration_ms": round(api_response.get("total_duration", 0) / 1_000_000, 3),
"gptoss_load_duration_ms": round(api_response.get("load_duration", 0) / 1_000_000, 3),
"gptoss_prompt_eval_count": api_response.get("prompt_eval_count"),
"gptoss_eval_count": api_response.get("eval_count"),
"gptoss_parse_status": "ok",
"gptoss_severity_score": None,
"gptoss_severity_label": None,
}
結果
分類性能の指標
まず、どのような分類性能の指標を用いたかを解説しておきます。
数年前に取得したG検定を思い出しつつ整理して書いておきます。
Accurancy
機械学習モデルの予測結果のうち、全体の中で「完全に正解した割合」を示す評価指標です。
100件中63件で、人手ラベルとモデル予測が完全一致したら、
Accuracy = 0.63
となります。
分かりやすい一方で、重要度評価では弱点があります。
人手: 大(3) → モデル: 中(2)
人手: 重大(4) → モデル: 小(1)
Accuracyでは、どちらも「不正解1件」です。
しかし安全上は後者のほうがずっと深刻です。そこで、Accuracyだけではなく、後の指標も見ます。
Macro-F1
Macro-F1は、各ラベルを同じ重さで評価した平均的な分類性能です。
特徴としては「マイナーな(数の少ない)グループも、メジャーな(数の多い)グループと同じくらい大切に扱う」という点です。
「Macro(マクロ)」という平均の取り方と、「F1スコア」という計算方法が合わさったものです。
まずF1は、次の2つを両方見ます。
- Precision
モデルが「重大」と判定したもののうち、本当に重大だった割合 - Recall
人手ラベルが「重大」のものを、モデルがどれだけ重大として拾えたか
F1は、このPrecisionとRecallを一つの数字にまとめたものです。
そしてMacro-F1は、
不明のF1
小のF1
中のF1
大のF1
重大のF1
を平均します。
今回のデータでは「不明」や「大」が多く、「重大」は9件です。Accuracyだけだと件数の多いラベルに引っ張られます。Macro-F1では重大のような少数ラベルも、不明と同じ重さで評価されます。
GPT-OSS-20B: 0.593
Jev: 0.635
という結果は、Jevのほうが5段階を全体としてバランスよく分類できた、という読み方です。
Quadratic Weighted Kappa
名前は少し難しいですが、今回の重要度評価ではかなり大事な指標です。
Quadratic Weighted Kappaは、順序のあるラベルで、どれだけ人手判断と近いかを見る指標です。
重要度では、次の2つは同じ不正解ではありません。
大(3) → 中(2)
重大(4) → 小(1)
前者は1段階の差です。後者は3段階の差です。
Quadratic Weighted Kappaは、この差が大きい誤りほど強く減点します。さらに、単にラベル分布が偏っているため偶然一致した分を差し引いて、人手との一致度を見ます。
目安としては次のように読めます。
1.0 : 人手と完全一致
0.0 : 偶然一致する程度
負値 : 偶然より悪い
今回の値は、
GPT-OSS-20B: 0.730
Jev: 0.765
です。どちらも人手ラベルの順序をある程度捉えていますが、Jevのほうが「近い重要度への誤分類」が多く、「大きく外す誤分類」が少なかったと読めます。
大・重大の再現率
これは、人手ラベルが大または重大だった事例を、モデルが大または重大として拾えた割合です。
たとえば人手で 大・重大 が40件あり、そのうち35件をモデルが 大・重大 と判定したら、
大・重大の再現率 = 35 / 40 = 0.875
です。
今回の結果は次です。
GPT-OSS-20B: 0.825
Jev: 0.875
安全トリアージでは、「本当に危険度の高いものを、高い優先度で拾えるか」を見る指標です。
重大の再現率
こちらはさらに厳しく、人手ラベルが重大だったものを、モデルも重大として判定できた割合です。
今回、重大は9件でした。
GPT-OSS-20B: 0.778
Jev: 1.000
Jevは今回の9件すべてを重大として拾いました。
ただし9件なので、今後ゴールドデータを増やして再確認する必要があります。1.000 は「今回の9件で全件正解」であり、「実運用で必ず見逃さない」という意味ではありません。
危険な過小評価件数
これは今回、業務上の危険を明示的に見るために追加した指標です。
定義は次です。
人手: 大(3) または重大(4)
モデル: 不明(0) または小(1)
このケースを「危険な過小評価」と数えました。
大を中と判定した場合も望ましくはありませんが、少なくともレビュー候補には残る可能性があります。
一方で、重大を小と判定すると、通常キューへ流れて見逃されるリスクがあります。
今回の件数は、
GPT-OSS-20B: 4件
Jev: 1件
でした。
分類性能
改めて前項での分類性能の結果を表にまとめました。
| 指標 | GPT-OSS-20B | Jev |
|---|---|---|
| Accuracy | 0.620 | 0.630 |
| Macro-F1 | 0.593 | 0.635 |
| Quadratic Weighted Kappa | 0.730 | 0.765 |
| 大・重大の再現率 | 0.825 | 0.875 |
| 重大の再現率 | 0.778 | 1.000 |
| 危険な過小評価件数 | 4 | 1 |
Accuracyだけを見ると、差は大きくありません。
ただし、重要度は順序を持つラベルです。小を中と判定するのと、重大を小と判定するのは同じ誤りではありません。そのため、順序を考慮するQuadratic Weighted Kappaと、大・重大の見逃しを別に見ました。
この100件では、Jevは重大をすべて拾いました。GPT-OSS-20Bは重大を小と判定した事例がありました。
個票を読むと、駐車支援使用中にフェンスへ衝突した事例、バックドアが上がってシャッターへ衝突した事例で、GPT-OSS-20Bは小、Jevは重大と判定していました。
一方で、フレーム溶接部の断裂事例は両モデルとも低く判定しました。本文の入りが「走行中の異音」だったためです。ただしJevのconfidenceは0.16でした。正解ではありませんが、モデル自身が判断に迷っていることは出力から分かります。
オリジナル文章は下記のような内容でした。人間のラベル付けではフレーム破断という事故につながりかねない問題だったので、重大とフラグしていました。
「三輪トライクへ改造した車両で、走行中に異音(キコキコ音)を認識した。ディーラーで確認した結果、トライクフレーム溶接部2箇所の断裂が発見された。」
速度とコスト
| 指標 | GPT-OSS-20B | Jev |
|---|---|---|
| 平均レイテンシ | 6,422 ms | 290 ms |
| P95レイテンシ | 13,445 ms | 344 ms |
| 100件合計時間 | 642秒 | 29秒 |
| APIコスト | $0 | $0.002602 |
この条件では、Jevは平均レイテンシで約22倍高速でした。
GPT-OSS-20BのAPIコストが0なのは、ローカルOllamaを使ったためです。GPU電力、ハードウェア、保守にかかるコストは入れていません。JevのコストはOpenRouterが返したAPIコストの合計です。
ローカルLLMとAPIモデルの比較なので、これをそのまま「Jevのほうが安い」とは言えません。ただ、100件を約29秒、約0.0026ドルで処理できたことは、定型的な判断をAPIで行う場合の参考値にはなると思います。
ローカルGPT-OSS-20BのGPU利用率について
今回のGPT-OSS-20Bは、RTX 3060 12GBを搭載したLinux PC上でOllamaにより実行しました。
ただし、モデル全体はVRAMへ収まりきらず、実行時のOllama表示では次のようにCPU/GPUへ分割されていました。
gpt-oss:20b
PROCESSOR: 21% CPU / 79% GPU
CONTEXT: 4096
GPUメモリ使用量も約10.9GBまで達しており、RTX 3060 12GBをほぼ使い切る状態でした。そのため、GPT-OSS-20Bの平均レイテンシ約6.4秒には、GPUだけで完結しない推論の影響が含まれています。
一方、JevはOpenRouterのAPIとして呼び出しており、平均レイテンシは約290msでした。この値にはネットワーク往復、OpenRouter側のAPI処理、TypeSafe側の推論を含みます。
したがって、今回の約22倍という差は、モデルアーキテクチャだけの純粋な比較ではありません。
RTX 3060 12GBで部分的にCPUへオフロードされたローカルGPT-OSS-20B
vs
OpenRouter経由で呼び出したJev
という、実際の運用構成の比較です。
それでも、12GB VRAM級のGPUを持つPCで重要度判定を運用する場面では、この差は実務上意味があります。ローカルLLMは外部APIへデータを送らずに済む利点がある一方で、モデルサイズ、コンテキスト長、GPUメモリ、CPUオフロードの影響を受けます。Jevのような判断専用APIは、ネットワーク接続が必要ですが、短い定型判断を高速に返す選択肢になり得ます。
なお、RTX 5060 16GBのWindowsワークステーションでもGPT-OSS-20Bを100% GPUで動作させる確認はできました。ただし、今回の100件評価は同一条件で最後まで実施していないため、記事の正式な性能比較には含めていません。
confidenceをレビュー規則へ使う
Jevは選択肢ごとの確率とconfidenceを返します。
今回のデータでは、高い確率を返した群ほど実測正解率も高くなりました。ただし確率は全体に過信側でした。最大確率が0.9以上の41件では、平均予測確率は約0.97でしたが、実測正解率は約0.88です。
Multiclass Brier score: 0.463
Expected Calibration Error: 0.143
確率をそのまま「97%で正しい」と読んではいけません。
一方で、confidenceはレビューの優先順位として使えそうでした。今回は次の規則を置きました。
Jevが大・重大と予測したらレビュー対象
または confidence < 0.60 ならレビュー対象
この規則では72件がレビュー対象になり、大・重大40件をすべてレビュー対象にできました。
confidenceを0.50まで下げると、レビュー対象は64件まで減りましたが、大・重大を1件見逃しました。0.60は、今回の100件で大・重大のレビュー漏れをゼロにする最小閾値でした。
レビュー対象が72%なので、これはまだ完成した自動化ではありません。それでも、全件を同じ優先度で見るよりは、危険度と不確実性を分けてキューへ入れられます。ゴールドデータを増やし、同じ閾値が維持できるかを確認する必要があります。
AIと人間で進めたJupyterLabの検証
今回の検証はAIと一緒に進めましたが、AIへ一括で処理を任せて結果だけを受け取る形にはしませんでした。AIが評価設計やコードを提案し、人間がJupyterLabでNotebookをセルごとに実行して、入力、出力、エラー、保存される列を確認する進め方にしました。

この方法にしたことで、私自身、JevやSystem Oneの使いどころ、OpenRouter Decisions APIのレスポンス、Ollamaの内部思考とコンテキスト長の関係を、実行結果を見ながら理解できました。AIに任せた部分は多いですが、Notebookを間に置いたことで、処理がブラックボックスにならず、人間が検証内容を追える状態を維持できたと思います。
| Notebook | 実施したこと |
|---|---|
00_setup_and_evaluation_plan.ipynb |
評価対象、5段階ラベル、保存方針を確認 |
01_prepare_gold_severity.ipynb |
人手ラベル済みCSVを検証し、スコア列を追加したParquetを作成 |
02_gptoss_severity_baseline.ipynb |
Ollama上のGPT-OSS-20Bで5件パイロット、100件推論、実行時間の記録 |
03_jev_severity_pilot.ipynb |
Jev Decisions APIで5件パイロット、確率・confidence・APIコストの確認、100件推論 |
04_evaluate_severity.ipynb |
指標、混同行列、危険な過小評価、confidence閾値、速度・コスト比較 |
Notebookを分けたことで、モデル呼び出し、データ前処理、評価を別々に確認できました。特にAPIを使う処理では、いきなり100件を流さず、5件で次を確認してから進めました。
- JSONやDecision APIレスポンスを安定して解釈できるか
- 元データ列を残したParquetへ必要な列を保存できるか
- モデルID、プロンプト版、レイテンシ、トークン数、コストを後から追えるか
- 想定外の出力やパース失敗が起きた場合に再開できるか
GPT-OSS-20Bでは10件ごとのチェックポイントParquetを作り、途中で止まっても未処理分だけを再実行できるようにしました。Jevも同様に、成功済みの判定を再利用する形にしています。
Notebookは今後公開する可能性がありますが、そのまま公開するのは避けるつもりです。
良かったらこの記事をストックに入れてお待ちください。
最後に
今回の検証では、Jevは文章を要約するモデルというより、業務フローの分岐を支える判断器として扱うのが合っていました。
発生事象や部品を自由文から抜く処理は、生成LLMに任せる。重要度やレビュー要否のように選択肢が決まっている処理は、Jevに任せる。この分担は、実際に100件を動かしてみると自然に感じました。
ゴールドデータを増やした検証なども今後は行いたいです。
また、生成LLMで事象・部品を抽出し、Jevで重要度と人手レビュー要否を判断する二段構成も試したいです。
Sources
[1] https://openrouter.ai/docs/guides/community/jev
[2] https://openrouter.ai/docs/api/api-reference/alphadecisions/submit-a-decisions-questions-and-answers-request
[3] https://renrakuda.mlit.go.jp/renrakuda/opn-search-result.html?selCarTp=1