0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

System OneモデルJevを自動車不具合の重要度判定で試してみた

0
Last updated at Posted at 2026-10-03

はじめに

最近、JevというSystem Oneモデルに興味を持ちました。

生成AIに「この不具合を要約して」と頼む使い方は分かりやすいです。ただ、実際の業務では文章を作る前に「これは人がすぐ確認すべきか」を決めたい場面があります。問い合わせの振り分け、監視アラートの優先度付け、審査の一次判定などです。

今回は、自動車安全情報ポータルで公開されている不具合申告を使い、重要度を5段階で判定する検証をしてみました。比較対象は、手元のGPUで動かしたGPT-OSS-20Bと、OpenRouter経由で呼び出したJevです。

最初は、発生事象、不具合部品、重要度をまとめて評価するつもりでした。途中で考えが変わりました。発生事象や部品は自由文抽出なので生成LLM向きです。一方、重要度は決められた選択肢の中から優先度を選ぶ処理です。Jevを試すなら、こちらに絞ったほうがよいと考えました。

Jevとは

Qiitaで丁度いま、Jevの記事を書こうキャンペーンをしているので同じような言葉が並びますが、Jevは、会話文を返すためのモデルではなく、ソフトウェアから使う型付きの判断を返すSystem Oneモデルと呼ばれるものです。OpenRouterのDecisions APIでは、選択肢から選ぶchoice、順序尺度を返すscore、yes/noのnoulといった質問を定義して呼び出せます。[1][2]

今回の重要度判定では、次のような選択肢をJevへ渡しました。

0: 不明
1: 小
2: 中
3: 大
4: 重大

Jevに自由文で説明を書かせるのではなく、不具合申告を状態として渡し、この5つから選ばせます。返ってくるのは選択結果だけではありません。各選択肢の確率、confidence(自信)、レイテンシ、入力・出力トークン、APIコストも取得できます。

今回のデータと人手ラベル

データソースには、国土交通省の自動車安全情報ポータルで公開されている不具合情報を使いました。[3]
この情報は、自動車のユーザーが自己申告で不具合を報告しているものになります。
簡単にどのようなデータが入っているかというとカラムのみですが解説しておきます。

カラム名 内容
番号 行番号
受付日 YYYY年MM月DD日
住所 都道府県
申告方法 フリーダイヤル or HP
車名 車検証の車名(自動車メーカー名)
初度登録年月 車検証の初度登録年月
型式 車検証の型式
通称名 一般的に呼ばれている車名
総走行距離 申告時の走行距離
原動機型式 車検証の原動機形式 (例:1KR)
不具合装置 不具合が発生した装置の分類(例:エンジン、燃料装置など)国土交通省の方が付与している
発生時期 不具合が発生した年月
申告内容 自由文で不具合が記載される

ここから100件を人手で選び、申告内容を読んで重要度を付けました。重要度の定義は次のとおりです。

スコア ラベル 判定基準
0 不明 走行可否・警告・安全影響の明示なし
1 小 走行可能で、警告灯・異音・軽微な不具合のみ。運転中断や安全影響の明示なし
2 中 警告灯に加えて、出力低下、走行継続困難、運転中断、または安全機能の機能低下
3 大 自走不能、エンジン停止、操舵・制動の重大機能喪失
4 重大 火災、発煙、衝突、負傷、事故へ発展

内訳は次のようになりました。

不明: 33件
小:   15件
中:   12件
大:   31件
重大:  9件

今回の100件は、実際の発生率を再現する無作為標本ではありません。大・重大を意図的に含めた層化パイロットです。したがって、ここでの数字はモデルの比較や見逃し事例の確認には使えますが、実運用で何%をレビューすべきかをそのまま示すものではありません。

人手で100件を読む作業はそれなりに時間がかかりました。ただ、後から結果を見返すと、この工程は省略できないと感じました。モデルが間違えたのか、ラベル定義の境界なのかを区別するには、人が決めた基準が必要です。

検証環境

GPT-OSS-20BはOllamaで動かしました。重要度を0から4のJSONだけで返すようにしています。結果は元データの列を残したParquetへ保存し、モデルの生レスポンス、レイテンシ、ロード時間、入力・出力トークンも記録しました。

JevはOpenRouterのDecisions APIを使いました。実際に解決されたモデルIDはtypesafe/jev-1.13-20260917でした。latestのような別名で呼び出す場合でも、実行結果として返った固定モデルIDを保存しておくと、後から比較しやすいです。

Jevへ渡した質問は、概ね次のようなものです。

"questions": {
    "severity": {
        "type": "choice",
        "instructions": "申告内容だけを根拠に重要度を選ぶ",
        "criteria": {
            "0": "不明:走行可否・警告・安全影響の明示なし",
            "1": "小:走行可能で軽微な不具合のみ",
            "2": "中:警告灯、運転中断、安全機能の機能低下",
            "3": "大:自走不能、エンジン停止、操舵・制動の重大機能喪失",
            "4": "重大:火災、発煙、衝突、負傷、事故へ発展",
        },
    },
}

GPT-OSS-20Bで少し詰まった話

短いJSONを返させるだけなので、GPT-OSS-20Bのコンテキスト長は2048もあれば大丈夫だと思っていました。

実際には、1件でJSONパースに失敗しました。調べると、最終出力は空で、内部思考が1575トークンまで伸びていました。入力と合わせて2048に達し、最終JSONを出す前にdone_reason=lengthで終了していました。

コンテキスト長を4096へ戻して100件を再実行すると、JSONパースは100件すべて成功しました。

短い出力を求める処理でも、モデル内部の推論がどこまで伸びるかは別問題です。Ollamaのtotal_duration、load_duration、prompt_eval_count、eval_count、終了理由まで保存しておいてよかったと思います。

    result = {
        "gptoss_raw_response": raw_content,
        "gptoss_raw_thinking": api_response.get("message", {}).get("thinking", ""),
        "gptoss_done_reason": api_response.get("done_reason"),
        "gptoss_latency_ms": latency_ms,
        "gptoss_total_duration_ms": round(api_response.get("total_duration", 0) / 1_000_000, 3),
        "gptoss_load_duration_ms": round(api_response.get("load_duration", 0) / 1_000_000, 3),
        "gptoss_prompt_eval_count": api_response.get("prompt_eval_count"),
        "gptoss_eval_count": api_response.get("eval_count"),
        "gptoss_parse_status": "ok",
        "gptoss_severity_score": None,
        "gptoss_severity_label": None,
    }

結果

分類性能の指標

まず、どのような分類性能の指標を用いたかを解説しておきます。
数年前に取得したG検定を思い出しつつ整理して書いておきます。

Accurancy

機械学習モデルの予測結果のうち、全体の中で「完全に正解した割合」を示す評価指標です。
100件中63件で、人手ラベルとモデル予測が完全一致したら、

Accuracy = 0.63

となります。

分かりやすい一方で、重要度評価では弱点があります。

人手: 大(3) → モデル: 中(2)
人手: 重大(4) → モデル: 小(1)

Accuracyでは、どちらも「不正解1件」です。
しかし安全上は後者のほうがずっと深刻です。そこで、Accuracyだけではなく、後の指標も見ます。

Macro-F1

Macro-F1は、各ラベルを同じ重さで評価した平均的な分類性能です。
特徴としては「マイナーな(数の少ない)グループも、メジャーな(数の多い)グループと同じくらい大切に扱う」という点です。
「Macro(マクロ)」という平均の取り方と、「F1スコア」という計算方法が合わさったものです。

まずF1は、次の2つを両方見ます。

  • Precision
    モデルが「重大」と判定したもののうち、本当に重大だった割合
  • Recall
    人手ラベルが「重大」のものを、モデルがどれだけ重大として拾えたか

F1は、このPrecisionとRecallを一つの数字にまとめたものです。

そしてMacro-F1は、

不明のF1
小のF1
中のF1
大のF1
重大のF1

を平均します。

今回のデータでは「不明」や「大」が多く、「重大」は9件です。Accuracyだけだと件数の多いラベルに引っ張られます。Macro-F1では重大のような少数ラベルも、不明と同じ重さで評価されます。

GPT-OSS-20B: 0.593
Jev:         0.635

という結果は、Jevのほうが5段階を全体としてバランスよく分類できた、という読み方です。

Quadratic Weighted Kappa

名前は少し難しいですが、今回の重要度評価ではかなり大事な指標です。

Quadratic Weighted Kappaは、順序のあるラベルで、どれだけ人手判断と近いかを見る指標です。

重要度では、次の2つは同じ不正解ではありません。

大(3) → 中(2)
重大(4) → 小(1)

前者は1段階の差です。後者は3段階の差です。

Quadratic Weighted Kappaは、この差が大きい誤りほど強く減点します。さらに、単にラベル分布が偏っているため偶然一致した分を差し引いて、人手との一致度を見ます。

目安としては次のように読めます。

1.0  : 人手と完全一致
0.0  : 偶然一致する程度
負値 : 偶然より悪い

今回の値は、

GPT-OSS-20B: 0.730
Jev:         0.765

です。どちらも人手ラベルの順序をある程度捉えていますが、Jevのほうが「近い重要度への誤分類」が多く、「大きく外す誤分類」が少なかったと読めます。

大・重大の再現率

これは、人手ラベルが大または重大だった事例を、モデルが大または重大として拾えた割合です。

たとえば人手で 大・重大 が40件あり、そのうち35件をモデルが 大・重大 と判定したら、

大・重大の再現率 = 35 / 40 = 0.875

です。

今回の結果は次です。

GPT-OSS-20B: 0.825
Jev:         0.875

安全トリアージでは、「本当に危険度の高いものを、高い優先度で拾えるか」を見る指標です。

重大の再現率

こちらはさらに厳しく、人手ラベルが重大だったものを、モデルも重大として判定できた割合です。

今回、重大は9件でした。

GPT-OSS-20B: 0.778
Jev:         1.000

Jevは今回の9件すべてを重大として拾いました。
ただし9件なので、今後ゴールドデータを増やして再確認する必要があります。1.000 は「今回の9件で全件正解」であり、「実運用で必ず見逃さない」という意味ではありません。

危険な過小評価件数

これは今回、業務上の危険を明示的に見るために追加した指標です。

定義は次です。

人手: 大(3) または重大(4)
モデル: 不明(0) または小(1)

このケースを「危険な過小評価」と数えました。

大を中と判定した場合も望ましくはありませんが、少なくともレビュー候補には残る可能性があります。
一方で、重大を小と判定すると、通常キューへ流れて見逃されるリスクがあります。

今回の件数は、

GPT-OSS-20B: 4件
Jev:         1件

でした。

分類性能

改めて前項での分類性能の結果を表にまとめました。

指標 GPT-OSS-20B Jev
Accuracy 0.620 0.630
Macro-F1 0.593 0.635
Quadratic Weighted Kappa 0.730 0.765
大・重大の再現率 0.825 0.875
重大の再現率 0.778 1.000
危険な過小評価件数 4 1

Accuracyだけを見ると、差は大きくありません。

ただし、重要度は順序を持つラベルです。小を中と判定するのと、重大を小と判定するのは同じ誤りではありません。そのため、順序を考慮するQuadratic Weighted Kappaと、大・重大の見逃しを別に見ました。

この100件では、Jevは重大をすべて拾いました。GPT-OSS-20Bは重大を小と判定した事例がありました。

個票を読むと、駐車支援使用中にフェンスへ衝突した事例、バックドアが上がってシャッターへ衝突した事例で、GPT-OSS-20Bは小、Jevは重大と判定していました。

一方で、フレーム溶接部の断裂事例は両モデルとも低く判定しました。本文の入りが「走行中の異音」だったためです。ただしJevのconfidenceは0.16でした。正解ではありませんが、モデル自身が判断に迷っていることは出力から分かります。
オリジナル文章は下記のような内容でした。人間のラベル付けではフレーム破断という事故につながりかねない問題だったので、重大とフラグしていました。
「三輪トライクへ改造した車両で、走行中に異音(キコキコ音)を認識した。ディーラーで確認した結果、トライクフレーム溶接部2箇所の断裂が発見された。」

速度とコスト

指標 GPT-OSS-20B Jev
平均レイテンシ 6,422 ms 290 ms
P95レイテンシ 13,445 ms 344 ms
100件合計時間 642秒 29秒
APIコスト $0 $0.002602

この条件では、Jevは平均レイテンシで約22倍高速でした。

GPT-OSS-20BのAPIコストが0なのは、ローカルOllamaを使ったためです。GPU電力、ハードウェア、保守にかかるコストは入れていません。JevのコストはOpenRouterが返したAPIコストの合計です。

ローカルLLMとAPIモデルの比較なので、これをそのまま「Jevのほうが安い」とは言えません。ただ、100件を約29秒、約0.0026ドルで処理できたことは、定型的な判断をAPIで行う場合の参考値にはなると思います。

ローカルGPT-OSS-20BのGPU利用率について

今回のGPT-OSS-20Bは、RTX 3060 12GBを搭載したLinux PC上でOllamaにより実行しました。

ただし、モデル全体はVRAMへ収まりきらず、実行時のOllama表示では次のようにCPU/GPUへ分割されていました。

gpt-oss:20b
PROCESSOR: 21% CPU / 79% GPU
CONTEXT: 4096

GPUメモリ使用量も約10.9GBまで達しており、RTX 3060 12GBをほぼ使い切る状態でした。そのため、GPT-OSS-20Bの平均レイテンシ約6.4秒には、GPUだけで完結しない推論の影響が含まれています。

一方、JevはOpenRouterのAPIとして呼び出しており、平均レイテンシは約290msでした。この値にはネットワーク往復、OpenRouter側のAPI処理、TypeSafe側の推論を含みます。

したがって、今回の約22倍という差は、モデルアーキテクチャだけの純粋な比較ではありません。

RTX 3060 12GBで部分的にCPUへオフロードされたローカルGPT-OSS-20B
vs
OpenRouter経由で呼び出したJev

という、実際の運用構成の比較です。

それでも、12GB VRAM級のGPUを持つPCで重要度判定を運用する場面では、この差は実務上意味があります。ローカルLLMは外部APIへデータを送らずに済む利点がある一方で、モデルサイズ、コンテキスト長、GPUメモリ、CPUオフロードの影響を受けます。Jevのような判断専用APIは、ネットワーク接続が必要ですが、短い定型判断を高速に返す選択肢になり得ます。

なお、RTX 5060 16GBのWindowsワークステーションでもGPT-OSS-20Bを100% GPUで動作させる確認はできました。ただし、今回の100件評価は同一条件で最後まで実施していないため、記事の正式な性能比較には含めていません。

confidenceをレビュー規則へ使う

Jevは選択肢ごとの確率とconfidenceを返します。

今回のデータでは、高い確率を返した群ほど実測正解率も高くなりました。ただし確率は全体に過信側でした。最大確率が0.9以上の41件では、平均予測確率は約0.97でしたが、実測正解率は約0.88です。

Multiclass Brier score: 0.463
Expected Calibration Error: 0.143

確率をそのまま「97%で正しい」と読んではいけません。

一方で、confidenceはレビューの優先順位として使えそうでした。今回は次の規則を置きました。

Jevが大・重大と予測したらレビュー対象
または confidence < 0.60 ならレビュー対象

この規則では72件がレビュー対象になり、大・重大40件をすべてレビュー対象にできました。

confidenceを0.50まで下げると、レビュー対象は64件まで減りましたが、大・重大を1件見逃しました。0.60は、今回の100件で大・重大のレビュー漏れをゼロにする最小閾値でした。

レビュー対象が72%なので、これはまだ完成した自動化ではありません。それでも、全件を同じ優先度で見るよりは、危険度と不確実性を分けてキューへ入れられます。ゴールドデータを増やし、同じ閾値が維持できるかを確認する必要があります。

AIと人間で進めたJupyterLabの検証

今回の検証はAIと一緒に進めましたが、AIへ一括で処理を任せて結果だけを受け取る形にはしませんでした。AIが評価設計やコードを提案し、人間がJupyterLabでNotebookをセルごとに実行して、入力、出力、エラー、保存される列を確認する進め方にしました。
image.png

この方法にしたことで、私自身、JevやSystem Oneの使いどころ、OpenRouter Decisions APIのレスポンス、Ollamaの内部思考とコンテキスト長の関係を、実行結果を見ながら理解できました。AIに任せた部分は多いですが、Notebookを間に置いたことで、処理がブラックボックスにならず、人間が検証内容を追える状態を維持できたと思います。

Notebook 実施したこと
00_setup_and_evaluation_plan.ipynb 評価対象、5段階ラベル、保存方針を確認
01_prepare_gold_severity.ipynb 人手ラベル済みCSVを検証し、スコア列を追加したParquetを作成
02_gptoss_severity_baseline.ipynb Ollama上のGPT-OSS-20Bで5件パイロット、100件推論、実行時間の記録
03_jev_severity_pilot.ipynb Jev Decisions APIで5件パイロット、確率・confidence・APIコストの確認、100件推論
04_evaluate_severity.ipynb 指標、混同行列、危険な過小評価、confidence閾値、速度・コスト比較

Notebookを分けたことで、モデル呼び出し、データ前処理、評価を別々に確認できました。特にAPIを使う処理では、いきなり100件を流さず、5件で次を確認してから進めました。

  • JSONやDecision APIレスポンスを安定して解釈できるか
  • 元データ列を残したParquetへ必要な列を保存できるか
  • モデルID、プロンプト版、レイテンシ、トークン数、コストを後から追えるか
  • 想定外の出力やパース失敗が起きた場合に再開できるか

GPT-OSS-20Bでは10件ごとのチェックポイントParquetを作り、途中で止まっても未処理分だけを再実行できるようにしました。Jevも同様に、成功済みの判定を再利用する形にしています。

Notebookは今後公開する可能性がありますが、そのまま公開するのは避けるつもりです。
良かったらこの記事をストックに入れてお待ちください。

最後に

今回の検証では、Jevは文章を要約するモデルというより、業務フローの分岐を支える判断器として扱うのが合っていました。

発生事象や部品を自由文から抜く処理は、生成LLMに任せる。重要度やレビュー要否のように選択肢が決まっている処理は、Jevに任せる。この分担は、実際に100件を動かしてみると自然に感じました。

ゴールドデータを増やした検証なども今後は行いたいです。
また、生成LLMで事象・部品を抽出し、Jevで重要度と人手レビュー要否を判断する二段構成も試したいです。

Sources

[1] https://openrouter.ai/docs/guides/community/jev
[2] https://openrouter.ai/docs/api/api-reference/alphadecisions/submit-a-decisions-questions-and-answers-request
[3] https://renrakuda.mlit.go.jp/renrakuda/opn-search-result.html?selCarTp=1

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?