Jev は、TypeSafe AI がクラウドで提供している文書分類のモデルです。文章と、選択肢つきの質問を送ると、選択肢ごとの確率が返ってきます。文章は生成しないので、返ってきた答えをそのままプログラムで使えます。TypeSafe はこの種類のモデルを System One と呼んでいます。

たとえば問い合わせの文面を送って「請求・配送・解約のどれの話か」「返金を求めているか」と聞けば、アプリはその確率を見て、担当に振り分けたり、人の確認に回したりできます。

Jev と同じ形で答えるオープンなモデルも多く出ています。
これらのモデルはローカルで動かすこともできます。
この分類を Mac の中の小さなモデルでどこまでできるかを Jev と同じ問題で測りました。
クラウドの Jev にどこまで近づけるか。

短い文の問題では、4B サイズのローカルモデルの正解率が Jev と同じ 98.6 % でした。
1 問にかかる時間は 3〜5 秒ほどです。込み入った問題(たとえば長い約款を読む)では、どのモデルも Jev に 17 ポイント以上届きませんでした。

手元のモデルで済めば、

問い合わせの文面を端末の中だけで扱えます
オフラインでも動きます
API の料金なしで何度でも呼べます

測ったもの

Jev と同じ形の問題を集めた公開ベンチマーク JevBench の、公開問題 231 問を使いました。やさしい問題、ふつうの問題、込み入った問題の 3 段階です。

やさしい問題: 「先週注文した荷物がまだ届かない」という問い合わせの用件を選ぶ、など
ふつうの問題: 「返金にはレシートと 30 日以内の購入が必要。12 日前に買ったがレシートはない」で返金してよいかを決める、など
込み入った問題: 保険の約款と特約を読んで支払い方を決める、うるう年とタイムゾーンをまたいで保証期間内の届け出かを決める、など

ふつうの問題の文は長くても 100 token 余りです。込み入った問題の文は、長いものだと 3,000 token を超えます。

モデルは、Apple の Core AI で Mac(M4 Max)上に動かした 8 つです。JevBench 自身のプログラムが 1 問ずつ手元のサーバーに問い合わせ、JevBench 自身のコードが採点しました。Jev の結果は JevBench が問ごとに公開しているので、同じ問題で比べられます。

結果

表は、8 モデルのうち 5 つと Jev 1.13.0 です。

モデル	ふつうの問題(72 問)	込み入った問題(111 問)	ふつうの問題 1 問の秒数	サイズ
apus-decision-v1-4b	98.6 %	55.9 %	5.13 ※	5.4G
decider-0.8b	83.3 %	41.4 %	0.62	1.2G
qwen3.5-2b-decision	77.8 %	40.5 %	2.76 ※	2.8G
qwen3.5-2b	75.0 %	44.1 %	1.79	2.8G
minicpm5-2b	70.8 %	45.9 %	0.10	2.5G
Jev 1.13.0(クラウド)	98.6 %	73.0 %	—	—

ふつうの問題

ふつうの問題で Jev と同じ 98.6 % だったのは、4B の apus-decision-v1-4b です。1.2G の decider-0.8b は 1 問 0.62 秒で答え、正解率は 83.3 % でした。

短い文の分類なら、4B を手元に置けば Jev と同じだけ当たります。これはうれしい結果でした。

込み入った問題

込み入った問題では、どのモデルも Jev の 73.0 % に 17 ポイント以上届きませんでした。

同じ 2B では、分類用に学習した qwen3.5-2b-decision(40.5 %)が、汎用の qwen3.5-2b(44.1 %)を上回りませんでした。差は 4 問分です。

自信のない問題だけ Jev に回す方法も試算しました。Jev との差を 1 ポイント以内にするには、どのモデルも込み入った問題の 74.8 % 以上を回すことになりました。

1 問の時間

込み入った問題で時間のいちばんかかった 1 問は、minicpm5-2b で 1.8 秒、Qwen3.5 系のモデル(表の minicpm5-2b 以外の 4 つ)では最長 218 秒でした。

今の変換では、Qwen3.5 系のモデルはプロンプトを 1 token ずつ読みます。長い文ほど時間がかかります。

同じ文に続けて何問も聞くなら、2 問目からは文を読み直さない仕組み(checkpoint)で、1 問あたり 2.5〜8.1 倍速くなりました。1 問目は今も文全体を読みます。

再現

使ったコマンドは 2 つです。

decide-cli serve --model decider-0.8b --port 8097
# from the JevBench checkout, with OUT set to a folder outside it
python -m jevbench.cli run --tasks datasets/public/hard.jsonl --adapter typesafe \
  --endpoint http://127.0.0.1:8097 --key-env '' --model decider-0.8b \
  --results $OUT/results-hard.jsonl --ledger $OUT/ledger.jsonl \
  --raw-dir $OUT/raw/hard --reserve-usd 0

問ごとの結果、スクリプト、8 モデル全部の数字は、データセット mlboydaisuke/coreai-decision-models-public231 にあります。サーバーは coreai-kit の decide-cli serve です。coreai-kit は、僕がこれらのモデルを Apple のデバイスで動かすために書いている Swift パッケージで、checkpoint はリリース 0.7.1 に入っています。結果の表は、coreai-kit の commit adbc755 と JevBench の commit 2fa63fa(v1.4.0)で測りました。

iPhone 17 Pro の数字は続報で出します。

注

表の割合は正解率です。やさしい問題は、表の 5 モデルとも 97.9〜100 % でした。
表の秒数は中央値です。GPU を他の作業と共有した状態で測りました。※ は 3 つのサーバーが同時に GPU を使った回で、30 問を単独で測り直すと、答えは同じで時間は約半分でした。
表の上から 3 つは分類用に学習したモデル、qwen3.5-2b と minicpm5-2b は汎用のモデルをそのまま使っています。
Jev の値は、JevBench が公開している結果から同じ問題について計算し直したものです。問題は同じで、動かした環境は違います。
残り 3 モデルを含む全部の数字は、上のデータセットにあります。
自信のない問題だけ Jev に回す試算には、JevBench が公開している Jev の問ごとの結果を使いました。回す基準は採点と同じ問題で選んだので、この方法に有利な数字です。