はじめに
Jevは、TypeSafe AIが2026年9月15日に出した「System One」というカテゴリのモデルです。普通のLLMと違って文章を返さず、あらかじめ決めた選択肢の中からどれに当たるかを、確率付きで返してくれます。公式ブログでは「AI-Powered Workflows / smart if-statements」、つまり普通のプログラムのif文の中にそのまま入れて使う用途が推されています。
普段、思いついたことは音声入力でメモしてまして、それをMicrosoft To Doに入れています。To Doのリストは「買い物」「行きたい場所」「勉強したい技術」みたいに細かく分けてるんですが、しゃべったメモをどのリストに入れるかを毎回自分で選ぶのが地味に面倒でした!
「牛乳と卵買っとかなきゃ」なら買い物リスト、「高尾山行きたいな」なら行きたい場所リスト、というように、振り分け先は人間が見ればすぐ分かります。Claudeのような普通のLLMでももちろんできますが、メモ1件ごとに呼ぶなら、速さと費用は気になるところです。
Jevは「このメモはどのリストか」を聞くと、リスト名とその確率だけを0.3秒くらいで返してくれます。公式ブログでも得意な用途として「classify, route」(分類・振り分け)が挙げられているので、ちょうど合いそうだと思って試してみました!
結論
- 普通の言い回しのメモ120件なら、Jevは**98%**を正しいリストに振り分けた
- 「エリエール」「ダイソンの V12」のような固有名詞だけのメモ48件だと**90%**に下がり、当たっていても確率(自信)が下がる
- 確率0.8以上のときだけ自動で入れ、それ未満は「未分類」に落とすようにすると、168件中146件が自動で入って、間違って入ったのは3件だった
- 1件あたりの費用は約$0.00003、応答は中央値で約330ms
- 精度だけならClaude(Sonnet 5.5 / Opus 5.5)のほうが上。Jevは同じ30件でClaude Haiku 4.5の約3倍速く、費用は約1/40だった
やったこと
リストを用意する
普段使っているリストに近い形で、12個用意しました。1行ずつ説明も付けています。
| リスト | 説明 |
|---|---|
| スーパーの買い物 | 近所のスーパーやドラッグストアで買う食料品・飲み物・消耗品 |
| ネットで買う物 | Amazonや楽天などの通販で買う物。家電・ガジェット・大きい物・定期購入 |
| 料金・契約の見直し | サブスク・スマホ・電気ガス・保険・ネット回線などの料金確認、プラン変更、解約 |
| 役所・手続き | 役所・銀行・免許・税金・住所変更・マイナンバーなど公的な手続きや申請 |
| 家事・掃除 | 掃除・洗濯・片付け・ゴミ出し・家の修理やメンテナンス |
| 行きたい場所 | 行ってみたいお店・カフェ・旅行先・観光地 |
| 行きたいイベント | ライブ・展示会・フェス・勉強会など、日時が決まった催し |
| 観たい・読みたい | 映画・ドラマ・アニメ・本・漫画・動画 |
| 病院・健康 | 病院の予約・薬・健康診断・歯医者・体調管理・運動 |
| 連絡・プレゼント | 家族や友人への連絡、お礼、誕生日やプレゼントの準備 |
| 勉強したい技術 | 試したいプログラミング言語・ツール・技術・資格の勉強 |
| 未分類 | どのリストにも当てはまらない、またはメモだけでは判断できない |
「未分類」は、あとで自分が振り分ける受信箱の役割です。
振り分けるメモを集める
普段自分がメモしそうな内容を、種類ごとに集めました。
| 種類 | 件数 | 例 |
|---|---|---|
| はっきりしたもの | 70 | 「牛乳と卵買っとかなきゃ」「使ってない動画のサブスク解約しなきゃ」 |
| どっちとも取れるもの | 30 | 「確定申告の勉強しなきゃ」(役所?勉強?) |
| 音声入力の誤変換っぽいもの | 12 | 「歯医者のよやくおねがいしなきゃ」 |
| 判断材料がないもの | 8 | 「あれやっとく」 |
| 固有名詞だけのもの | 24 | 「エリエールの12ロール」「ダイソンの V12」「フジロック」 |
| 固有名詞+ひとこと | 24 | 「スコッティ切れてたわ」「Terraform 触っとく」 |
上の4種類(120件)だけで一度試したところ、正解率が98%とかなり高く出ました。ただ中身を見ると「楽天で買っとかなきゃ」「サブスク解約」のように、リスト名に直結する言葉が入っているメモが多く、ちょっと問題が易しすぎるかなと思いました。そこで、名前を知っていないと振り分けられない固有名詞のメモ(下の2種類、48件)を追加しています。
Jevに投げる
JevはVercel AI Gateway経由で呼んでいます。/v1/evaluateに、判断してほしいもの(state)と質問(questions)を渡すだけです。
const payload = {
model: 'typesafe-ai/jev',
state: { 音声メモ: text },
questions: {
list: {
type: 'choice',
instructions: 'この音声メモは、どのTo Doリストに入れるべきか。',
criteria: LISTS, // { "スーパーの買い物": "近所のスーパーや…", ... }
},
},
};
const res = await fetch('https://ai-gateway.vercel.sh/v1/evaluate', {
method: 'POST',
headers: { Authorization: `Bearer ${API_KEY}`, 'Content-Type': 'application/json' },
body: JSON.stringify(payload),
});
const { answers } = await res.json();
// answers.list.choice に選ばれたリスト名、answers.list.probabilities に各リストの確率が入る
type: 'choice'は「この中から1つ選んで」という質問の型で、選択肢は最大255個まで渡せます。返ってくるchoiceは必ずcriteriaに書いたリスト名のどれかになります(これはClaudeでも構造化出力を使えば同じことができます)。Jevならではなのは、選んだリストだけでなく、12個すべてのリストに確率が付いて返ってくるところです。
比較のために、criteriaにリスト名だけを渡すパターン(説明なし)と、上の表の説明まで渡すパターンの2つを試しました。
結果
正解率
| メモの種類 | リスト名だけ | 説明付き |
|---|---|---|
| はっきりしたもの(70件) | 70/70 | 70/70 |
| どっちとも取れるもの(30件) | 26/30 | 27/30 |
| 誤変換っぽいもの(12件) | 12/12 | 12/12 |
| 判断材料がないもの(8件) | 8/8 | 8/8 |
| 固有名詞だけ(24件) | 22/24 | 22/24 |
| 固有名詞+ひとこと(24件) | 21/24 | 21/24 |
| 合計(168件) | 159/168(95%) | 160/168(95%) |
リストに説明を付けても、ほとんど変わりませんでした。リスト名がそれなりに分かりやすければ、名前だけで十分なようです。
「あれやっとく」のような判断材料がないメモは、8件とも「未分類」に落ちていました。無理にどこかのリストに入れないのはありがたいです。
どっちとも取れるメモで外れたのは、たとえば「確定申告の勉強しなきゃ」(正解は勉強、Jevは役所・手続き)や、「プログラミングのイベント行きたい、学びたい」(正解は勉強、Jevは行きたいイベント)でした。正直、人間でも迷うところだと思います。
確率で切るとどうなるか
Jevは選んだリストの確率も返してくれるので、「確率が低いときは自動で入れずに未分類に落とす」ということができます。説明付きのパターンで、しきい値ごとの件数を出してみました。
| しきい値 | 自動で入った件数 | そのうち間違い |
|---|---|---|
| 0.5以上 | 156/168 | 5 |
| 0.7以上 | 149/168 | 4 |
| 0.8以上 | 146/168 | 3 |
| 0.9以上 | 140/168 | 3 |
0.8で切ると、168件中146件が自動で入って、間違って入ったのは3件でした。残りの22件は未分類に落ちるので、そこだけ自分で振り分ければいい、という形になります。
ただ、固有名詞のメモだけで見ると、0.8以上で自動で入ったのは48件中36件でした。当たってはいるものの自信がない、というケースが多く、たとえば「キッコーマンのいつでも新鮮」(醤油)は0.53、「ダイソンの V12」(掃除機)は0.64でした。間違えずに迷ってくれるので、しきい値で切る使い方とは相性がいいと思います。
速度と費用
| 項目 | 値 |
|---|---|
| 応答時間 | 中央値 約330ms、95パーセンタイル 約460ms |
| 費用 | 336回呼んで合計 約$0.0103(1回あたり約$0.00003) |
費用はVercel AI Gatewayの残高を実行前後で見比べた値です。Jevの料金は入力100万トークンあたり$0.042で、出力は無料です。
Vercel AI Gatewayは無料枠のクレジットだけだと、Jevを呼んだときにFree tier users do not have access to this modelで403が返ってきました。有料のクレジットを少しでも入れると通るようになります。
Claudeと比べてみた
「それ、Claudeでよくない?」というのが一番気になるところだと思うので、比べてみました。
精度
同じ168件を、Claude Codeのサブエージェントにモデルを指定して振り分けさせました。リストの説明も同じものを渡して、自信を0〜1で答えてもらっています。
| モデル | 正解 | 自信0.8以上で自動で入れた件数 | そのうち間違い |
|---|---|---|---|
| Jev | 160/168 | 146 | 3 |
| Claude Haiku 4.5 | 158/168 | 130 | 1 |
| Claude Sonnet 5.5 | 164/168 | 130 | 0 |
| Claude Opus 5.5 | 164/168 | 137 | 0 |
精度はSonnetとOpusのほうが上でした。差が出たのは固有名詞で、たとえばJevが外した「スコッティ切れてたわ」は、Claudeは3モデルとも「スーパーの買い物」に入れていました。自信0.8以上だけ自動で入れる運用にしても、SonnetとOpusは間違いが0件です。
Claude側はサブエージェントに168件をまとめて渡しているので、APIで1件ずつ呼ぶのとは条件が違います。まとめて見られるぶん、Claudeに有利だった可能性はあります。
速さと費用
こちらは同じ30件を、APIで1件ずつ順番に呼んで測りました。Claudeは構造化出力で選択肢を12個のリストに縛っています。
| モデル | 正解 | 応答時間(中央値) | 1件あたりの費用 |
|---|---|---|---|
| Jev | 29/30 | 約330ms | 約$0.00003 |
| Claude Haiku 4.5 | 28/30 | 約1,030ms | 約$0.00125 |
| Claude Sonnet 5.5 | 28/30 | 約1,320ms | 約$0.00265 |
Claudeの費用はVercel AI Gatewayが返してきた請求額の平均です。Jevの応答時間は、上の168件を測ったときの同じ30件分の値です。Opusは途中でレート制限(429)にかかってしまい、測れませんでした。
Haikuと比べると、Jevは約3倍速く、費用は約1/40でした。精度はHaikuとほぼ同じです。
確率が付くのはJevだけ
もう1つの違いは、確率の出どころです。今回Claudeに答えてもらった「自信」は、モデルが自分で書いた数字です。Claude APIのMessages APIには、トークンの確率(logprobs)を返すオプションがありません。
Jevは全部のリストに確率を付けて返してくれるので、たとえば「1位と2位の差が小さいときは未分類に落とす」のような判定も、if文でそのまま書けます。ただ、今回の結果を見る限り、Jevの確率が高いからといって正しいとは限らず(後述)、Claudeの自己申告より優れていた、とまでは言えませんでした。
気になった外れ方
自信満々で「分からない」と答える
個人的に一番おもしろかったのがこれです。
メモ : スコッティ切れてたわ
振り分け: 未分類
上位3件 : 未分類 0.88 / 連絡・プレゼント 0.12 / スーパーの買い物 0.00
所要時間: 477ms
スコッティはティッシュやトイレットペーパーのブランドなので、正解は「スーパーの買い物」です。Jevはスコッティが何か分からなかったようで、「判断できない」という答えに0.88の自信を持っていました。未分類に落ちるので実害はないんですが、確率が高いからといって中身が分かっているとは限らない、というのは覚えておいたほうがよさそうです。
お店や作品の名前が場所に見える
「とらやの夜の梅」(羊羹。プレゼントのつもりで作ったメモ)は「行きたい場所」、ドラマの「VIVANT 評判いいらしい」は「未分類」に振り分けられました。固有名詞が何か分からないと、とりあえずお店や場所の名前っぽく扱われる傾向があるようです。
実際に使うならこうできそう
今回はアプリまでは作っていませんが、1件振り分けるだけのスクリプトは作りました。確率が0.8未満なら未分類に落とします。
$ node memo.mjs "プロテインがそろそろ切れそうだからポチっとく"
メモ : プロテインがそろそろ切れそうだからポチっとく
振り分け: ネットで買う物
上位3件 : ネットで買う物 0.89 / スーパーの買い物 0.10 / 病院・健康 0.01
所要時間: 381ms
「ポチっとく」から通販だと読み取ってくれています。
memo.mjs の中身
import { routeMemo } from './jev.mjs';
const AUTO_THRESHOLD = 0.8;
const text = process.argv.slice(2).join(' ');
const r = await routeMemo(text);
const top3 = Object.entries(r.probabilities)
.sort((a, b) => b[1] - a[1])
.slice(0, 3)
.map(([k, p]) => `${k} ${p.toFixed(2)}`)
.join(' / ');
const dest = r.probability >= AUTO_THRESHOLD ? r.list : '未分類';
console.log(`メモ : ${text}`);
console.log(`振り分け: ${dest}${dest !== r.list ? `(候補は ${r.list}。確信度不足)` : ''}`);
console.log(`上位3件 : ${top3}`);
console.log(`所要時間: ${Math.round(r.latencyMs)}ms`);
これを音声入力の後ろにつなげて、振り分け先のリストにMicrosoft Graph APIでタスクを追加すれば、「しゃべるだけで正しいリストに入るTo Do」ができそうです。
応答が0.3秒くらいなので、しゃべり終わってから待たされる感じもなさそうです。
まとめ
Jevは「何のメモか」が文面から読み取れる振り分けなら、かなり正確でした。一方で、それが何なのかを知っていないと判断できない固有名詞になると、自信が下がったり外したりします。
精度だけ見ればClaudeのSonnetやOpusのほうが上で、Jevを選ぶ理由は「速くて安い」ことに尽きると思います。Haikuとほぼ同じ精度を、約3倍の速さと約1/40の費用で出せるので、メモを1件しゃべるたびに呼ぶような使い方や、件数が多い振り分けには向いています。
なので、ふだんの振り分けはJevに任せて、自信が低いものだけ未分類に落とすか、Claudeに回す、という分け方がよさそうだな、というのが今回の感想です。
なお、今回は168件と件数が少なめです。公式ドキュメントでも日本語は英語ほど精度が出ないと書かれているので、実際に使うときは自分のメモで試してからのほうがいいと思います。