Jev とは？
Jev (ジェブ) は、TypeSafe AI が開発した 「文章ではなく、判断を返すAI」です。
現在普及している ChatGPT のような 生成AI は回答をトークン単位で少しずつ生成します。
一方、 Jev は 回答候補、スコア、Yes/No の確立などを、あらかじめ決められた形式でまとめて返します。
一言で表すなら、
自由に文章を書く AI ではなく、意味を理解して高速に判断する AI
です。
TypeSafe AI は、この種類を人間の素早い直感的判断になぞらえて、
「System One Model」 と呼んでいます。
例
顧客から次のメールが届いたとします。
注文をキャンセルしたのに、まだ返金されていません。至急確認してください。
Jev の場合、文章を書かせるのではなく、次のような判断を依頼します。
入力：
顧客メール：”注文をキャンセルしたのに、まだ返金されていません。至急確認してください。”
質問：
担当部署：
- 請求
- 技術レポート
- 営業
緊急度：
- 低
- 中
- 高
人間による確認が必要か：
- Yes
- No
結果のイメージは、次のようになります。
担当部署:
回答: 請求
確率: 0.96
緊急度:
回答: 高
確率: 0.88
人間による確認が必要か:
確率: 0.81
Jev 自身は顧客への返信文などを書きません。
この判断を受け取ったプログラムが、担当部署への転送や LLM による返信文作成を実行します。
詳細
前提
一般的な LLM の処理は、大きく次の 2段階 に分けられます。
- 入力処理 (prefill)
プロンプトを読み取り、内部表現を作ります。 - 文章生成 (decode)
直前までに生成した内容を使い、次のトークンを 1個ずつ生成します。
文章が長くなるほど、 decode処理 を何度も繰り返すため、時間と計算費用が増えます
Jev にも入力を理解する計算はありますが、自由な文書をトークン単位で生成しません。
そのため 「デコードが消えた」 という説明は、より正確には、
自己回帰的な文章生成の decodeループ がなくなった
という意味です。
章1：Jevの仕組み
Jev には、主に次の 2つ を渡します。
- State : 判断材料となる文章や構造化データ
- Question : 答えてほしい質問と回答形式
質問 (Question) にはさらに 3種類 があります。
- Choice : 複数候補から1つを選ぶ
- Score : 指定された基準で採点する
- Noul : ある命題が正しい確率を 0 ~ 1 で返す。
複数の質問は、同じ State に対して並列に評価されます。
結果は自由文ではなく、選択し、確率、スコア、信頼度などの型付きデータです。
また、TypeSafe AI は Jev を、文章の好ましさではなく、判断確立の調整を重視する RLCD (Reinforcement Learning for Calibration Decision) という手法で訓練したと説明しています。
章2：なぜ速く、安いのか
主な理由は、文章を順番に生成しないことです。
一般的な LLM では、
「この」→「問い合わせ」→「は」→「請求」→「部門」→ ...
と出力を逐次生成します。
Jev では、
担当部署 = 請求: 96%
緊急度 = 高: 88%
確認必要 = 81%
のような判断結果を並列に計算します。
20206/09 時点で、提供元の TypeSafe AI は次の数値を公表しています。
- 応答時間：70 ~ 500 ミリ秒
- 入力100万トークン：0.042 ドル (約7円)
- 出力トークン数：なし
- 判定向けワークフローでは、LLM より最大 約194倍高速・約445倍安価
ただし、これらは主に、TypeSafe AI 自身の評価結果です。
あらゆる処理が一律にこの倍率で早くなるわけではなく、
Jev が得意とする判定タスクでの比較としてみる必要があります。
↑↑↑ ↑↑↑
比較企画を作成中です。
情報をお持ちの方はご連絡ください。m(__)m
章3：用途と限界
Jev が 向いている用途は次の通りです。
- メール や 問い合わせ の分類
- 担当部署 への振り分け
- 不正 ・ 危険 ・ 規約違反の判定
- 見込み客 や 文書のスコアリング
- AI が生成した回答のチェック
- 使用する モデル や ツール の選択
- 人間による確認が必要かの判定
- 大量データ からの特徴抽出
一方、次の用途には向いていません。
- メールや記事の執筆
- 自由な会話
- 長文の要約
- コード生成
- 創作
- 複雑な多段階推論
そのため、実際には次のような併用が考えられます。
入力
↓
Jevが高速に分類・採点
├─ 簡単な案件 → プログラムが自動処理
├─ 文章が必要 → LLMを呼び出す
└─ 確信度が低い → 人間に確認を依頼
なお、TypeSafe AI は Jev が 「ハルシネーションしない」 という公式表現をしています。
しかし、これは自由な文章や存在しない値を生成しないという意味です。
判断自体を間違えないわけではありません。 常に許可された形式解凍できますが、誤った選択肢を選ぶ可能性はあります。
また、分類モデルや文章を生成しない AI は以前から存在します。
Jev の新しさは、自然言語で指定された様々な判断を共通のモデルと型付きインターフェースで処理しようとしている点です。
「System One Model」 は、現時点では TypeSafe AI が提唱している名称であることには注意が必要です。