本作業の大半を Claude Code で調査・実行・文書化しました。測定の数字は、すべて API の応答の記録から取っています。
2026 年 10 月 14 日に、TypeSafe AI の判断専用モデル Jev の 1.14.0 が出ました。画像入力、画像の中の位置を返す新しい型、長い入力が、実験機能として加わっています。この記事では、画像入力と位置を返す型を、実際の写真 7 枚と API の呼び出し約 1,750 回で試しました。1.14.0 の改善とされる多言語についても、日本語の既存ベンチマークで 1.13.0 と比べています。かかった費用は合計で約 0.07 ドルでした。
Jev は、文章を生成せず、状態と質問を受け取って、選択肢ごとの確率と信頼度を決まった型で返す判断専用のモデルです。この記事は、それだけ押さえておけば読めます。
用語
| 用語 | 意味 |
|---|---|
| bbox(バウンディングボックス) | 画像の中の物体を囲む長方形。Jev では、1.14.0 で加わった質問の型(API での名前は box)が、聞かれた 1 つの物体の bbox を返す。座標は 0〜1 の割合で、左上が(0, 0)、右下が(1, 1) |
| 選択(choice) | 決まった選択肢から 1 つを選ばせる質問の型。選択肢ごとの確率が返る |
| 信頼度 | 答えにどれだけ迷っていないかを表す 0〜1 の値。bbox の型では、bbox と一緒に返る |
| トークン | モデルが入力を数える単位。Jev の料金は、入力 100 万トークンあたり 0.042 ドルで、出力は無料 |
| 総画素 | 画像の横の画素数と縦の画素数の積 |
| 状態と質問 | Jev に渡す入力。状態は判断の対象(文字列、JSON、今回は画像の識別子)で、質問は型と指示文を持つ |
| 要求 | API への 1 回の呼び出し。1 つの要求に、質問を複数入れられる |
| p 値 | 2 つの版の成績の差が、偶然だけで出うるかを見る値。小さいほど偶然とは言いにくく、0.05 未満が目安 |
この記事で分かったこと
- 画像入力は、1.13.0 でも 1.14.0 でも使えます。1280×848 の写真 1 枚に質問 1 つで、入力は約 3,100 トークン、費用は約 0.00013 ドルでした。
- bbox の型は、写っている物を聞いた 37 件のうち 34 件で位置が合いました。一方で、写っていない物を聞いても bbox を返し、信頼度の値では見分けられませんでした。
- 写っているかどうかは、選択の型で別に聞くと、39 件すべてで分けられました。bbox と同じ要求に入れれば、費用はほとんど増えません。
- 選択の質問を画像に使うと、10 問すべてが正解で、1.13.0 と 1.14.0 の答えは同じでした。
- 日本語の既存ベンチマーク 3 種では、1.14.0 の改善は見えませんでした。
1.14.0 の変更点
公式のブログ(2026-10-14)から、書かれている変更点を表にしました。右の列に、この記事で確かめたかどうかを書いています。
| 変更点 | 公式の説明 | この記事での確認 |
|---|---|---|
| 画像入力 | 実験機能。専用のヘッダが必要。1.13.0 でも使える | 確認した |
| bbox の型 | 画像の中の 1 つの物体を囲む bbox を返す。1.14.0 だけで使える | 確認した |
| 長い入力 | 専用のヘッダで、文脈長が 64k から 262k トークンになる | 未確認 |
| 多言語 | 小さな改善が全体にあり、最大の伸びは多言語だとされる | 日本語だけ確認した |
| 使い方の記録の提供 | 質問の内容を、モデルの苦手な場面の分析に使うことを許可できる。学習への利用は含まれない | 未確認 |
公式は、画像と bbox の型について「本番向けの水準に達していない」と書いています。形式も答えも制限も、リリースごとに変わりうるとされています。この記事の数字は、2026 年 10 月 15 日に日本から測ったものです。
画像の渡し方と、かかる費用
要求の形
画像は、JSON ではなく、マルチパートで送ります。状態に画像の識別子を入れ、assets の欄で、その識別子と画像の部品名を結びます。質問の指示文からは、状態のキー(ここでは photo)をバッククォートで囲んで指します。
curl https://api.typesafe.ai/v1/systemone \
-H "Authorization: Bearer $TYPESAFE_API_KEY" \
-H "TypeSafe-Danger-Zone-Images: true" \
-F 'request={
"model": "jev-preview",
"state": {"photo": "img-1"},
"assets": {"img-1": {"type": "image", "part": "photo-file"}},
"questions": {
"ferrari": {"type": "box", "instructions": "the Ferrari in `photo`"}
}
};type=application/json' \
-F 'photo-file=@cars_cal.jpg;type=image/jpeg'
ヘッダを付けずに画像を送ると、「Images are experimental. Send the header TypeSafe-Danger-Zone-Images: true to use them.」という文面で 400 エラーになります。bbox の型を 1.13.0 に送った場合は「Invalid request.」でした。
画像 1 枚のトークン数
公式のドキュメントは、画像のトークン数の見積もり方を、近く案内するとしています。まだ式は出ていないので、同じ写真を大きさを変えて送り、応答の入力トークン数を読みました。質問は同じ 1 つです。
| 画像の大きさ | 総画素 | 入力トークン数 |
|---|---|---|
| 256×170 | 43,520 | 拒否 |
| 320×212 | 67,840 | 拒否 |
| 480×318 | 152,640 | 715 |
| 640×424 | 271,360 | 1,019 |
| 960×636 | 610,560 | 1,893 |
| 1280×848 | 1,085,440 | 3,135 |
| 1568×1039 | 1,629,152 | 4,539 |
公式が書く総画素の下限は 78,400 で、それを下回る 2 つは「Invalid image dimensions」で拒否されました。受け付けられた 5 点では、入力トークン数は総画素にほぼ直線的に増えました。傾きは、およそ 386 画素あたり 1 トークンです。この傾きは、5 点の測定から私が引いたもので、公式の式ではありません。
同じ画像に質問を 3 つ入れた要求の入力トークン数は 3,162 でした。質問 1 つの要求は 3,135 なので、画像は何問聞いても 1 回分しか数えられず、質問を足した分は 1 問あたり十数トークンです。写真 1 枚に複数の問いを聞く使い方は、費用の面で有利です。
単価が入力 100 万トークンあたり 0.042 ドルなので、写真 1 枚 1 問の費用は次のようになります。出力は無料です。
| 画像の大きさ | 1 回の費用 | 1,000 回の費用 |
|---|---|---|
| 640×424 | 0.000043 ドル | 0.043 ドル |
| 1280×848 | 0.00013 ドル | 0.13 ドル |
| 1568×1039 | 0.00019 ドル | 0.19 ドル |
応答時間は、bbox の質問 47 回で、中央値が 0.22 秒、95% の質問がこれ以内に返った時間が 0.32 秒でした(並列 4、日本から、入力は約 3,100〜3,500 トークン)。
実際の写真で試した位置指定
使った写真
Wikimedia Commons の、利用条件が明確な写真を 7 枚使いました。幅 1280 画素に縮めて送っています。
| 名前 | 写っているもの | 質問の数 |
|---|---|---|
| 車 1 | 白いフェラーリ California と黒いポルシェ Carrera GT | 10 |
| 車 2 | 赤いフェラーリ F50 が 2 台と、黒いランボルギーニ Countach | 8 |
| 横断歩道 | 信号、バス、木に付いた黄色い看板、オートバイ、テント | 7 |
| 書簡 | 手書きの署名と肩書き | 4 |
| マグカップ | ベーコンのサンドイッチ、マグカップ、皿、紙ナプキン | 6 |
| 猫と犬 | 白黒写真の庭に、左に犬、右に猫 | 5 |
| 商店街 | 日本のアーケード、看板、自転車、人 | 7 |
質問は合わせて 47 件です。1 つの質問は 1 つの要求で送っています。そのうち 7 件は、写真に写っていない物(象、飛行機、フォーク、馬など)を聞いています。写真に写っていなくても、bbox の型は bbox を返します。 受け取る側が「見つかった」と思い込んで使うと、存在しない物の位置を信じてしまう危険な動作なので、返り方を確かめました。
bbox を写真に重ねて、写っている物を聞いた質問については、位置が合っているかを、私が目で判定しました。判定を保留したものが 3 件あります。
| 判定 | 件数 |
|---|---|
| 写っている物を聞いて、位置が合った | 34 |
| 写っている物を聞いて、位置が外れた | 3 |
| 写っていない物を聞いた | 7 |
| 判定を保留した | 3 |
「位置が合った」「位置が外れた」は、写真に写っている物を聞いた質問だけに付けた判定です。写っていない物には正しい位置がないので、合った・外れたの区別はありません。写っていない物を聞いた 7 件では、返ってきた bbox がどこに付いても、存在しない物の位置を返していることになります。
位置が合った例
「the Ferrari」を聞くと、左の白い車に bbox が付き、信頼度は 0.78 でした。「the Porsche」は右の黒い車に付きました。ただし信頼度は 0.23 と低く、「the black car」は 0.26、「ポルシェ」は 0.27 でした。右の黒い車は、言い方によらず低い信頼度で、しかも 3 回とも bbox は合っています。信頼度が低いことは、位置が間違っていることを意味しませんでした。
商店街の写真で「the red umbrella」を聞くと信頼度 0.52、「赤い傘」を聞くと 0.48 で、bbox はどちらも同じ傘に付きました。「the person wearing a hat」(0.44)と「帽子をかぶった人」(0.30)も、同じ人に付いています。日本語で聞いても、英語で聞いた場合と同じ位置が返りました。
ただし、同じ写真で「the elephant」(象)を聞くと、路面の広い範囲を囲む bbox が返りました(図の 5 番、信頼度 0.02)。象は写真のどこにも写っていないのに、図の中には、大きな bbox が描かれています。 信頼度が 0.02 と低いので、受け取る側が値を見れば捨てられますが、bbox だけを見て使うと、存在しない象の位置を信じることになります。
横断歩道の写真では、「the traffic light」(0.70)、「the green bus」(0.82)、「the yellow sign on the tree」(0.94)、「the motorcycle」(0.79)が、すべて合いました。
位置が外れた例
猫と犬の写真で、「the dog」は信頼度 0.92 で合いました。「the cat」は、犬のあたりから猫までを含む横長の bbox になり、信頼度は 0.28 でした。「the animal on the right」は、右にいる猫ではなく、左の犬を返しました。5 回繰り返しても、毎回ほぼ同じ横長の bbox が返り、信頼度は 0.27〜0.31 でした。偶然の失敗ではなく、この写真では再現する失敗です。この写真は白黒で、被写体が小さい写真でした。
書簡の写真の「the first name initial」(頭文字)も、頭文字ではなく、その下の余白に bbox が付いて外れました(信頼度 0.05)。
写っていない物を聞いた場合
写っていない物を聞いても、bbox は返ります。正しい位置がないので、次の bbox はすべて誤りです。表の「bbox が付いた先」は、どこを囲んだかを示しています。信頼度は次のとおりでした。
| 質問 | 写真 | 信頼度 | bbox が付いた先 |
|---|---|---|---|
| the elephant | 商店街 | 0.02 | 路面 |
| the date | 書簡 | 0.03 | 署名の中ほどの細い範囲 |
| the fork | マグカップ | 0.06 | サンドイッチと紙ナプキン |
| the airplane | 横断歩道 | 0.10 | 右上の空と電柱のあたり |
| the Lamborghini | 車 1 | 0.28 | 白いフェラーリ |
| the Porsche | 車 2 | 0.33 | 黒いランボルギーニ |
| the horse | 猫と犬 | 0.63 | 犬 |
7 件のうち 4 件は 0.10 以下で、写っていない物には低い値が付く傾向があります。ただし、馬は 0.63 で、写っている物を聞いて位置が合った 34 件の中央値(0.65)と変わりません。一方で、その 34 件にも、0.30 以下の低い値が 6 件あります。最も低いのは、書簡の署名の 0.13 です。信頼度の値だけで「写っていない」と判定する線は、この写真の数では引けません。しきい値を決めるなら、使う写真で測り直す必要があります。写っているかどうかを、bbox の信頼度ではなく別の質問で確かめる方法は、「写っていない物の扱いと、用途ごとの使い分け」の章に書きました。
あいまいな質問
赤いフェラーリ F50 が 2 台写る写真で「the Ferrari」を聞くと、左の 1 台の bbox が返り、信頼度は 0.48 でした。5 回繰り返しても毎回左の 1 台で、信頼度は 0.44〜0.55 の間で揺れました。2 台に当てはまる質問だったことを示す手がかりは、返り値にありません。「the left Ferrari」は左を 0.83 で、「the right Ferrari」は右を 0.30 で、どちらも合っています。複数の物を探したいときは、位置や特徴を添えて、1 つずつ聞く形になります。
選択の質問を画像に使った場合
同じ写真に、選択の質問を 10 問、Jev 1.13.0 と 1.14.0 の両方へ投げました。
| 写真 | 質問 | 答え(1.13.0 と 1.14.0 で同じ) | 正誤 |
|---|---|---|---|
| 車 1 | 左の車のブランドは | Ferrari | 正解 |
| 車 1 | 右の車のブランドは | Porsche | 正解 |
| 車 2 | 中央の大きな黒い車のブランドは | Lamborghini | 正解 |
| 車 2 | 赤い車は何台か | 2 台 | 正解 |
| 猫と犬 | 右側にいる動物は | 猫 | 正解 |
| マグカップ | フォークはあるか | ない | 正解 |
| マグカップ | マグカップはあるか | ある | 正解 |
| 横断歩道 | 歩行者用信号の色は | 緑 | 正解 |
| 商店街 | 場所の種類は | 商店街 | 正解 |
| 書簡 | 何が写っているか | 手書きの文字 | 正解 |
10 問すべてが正解で、1.13.0 と 1.14.0 の答えは同じでした。差が出たのは信頼度だけで、信号の色は 1.13.0 が 0.96、1.14.0 が 0.85 でした。1.14.0 は「消灯」にも 0.08 の確率を置いています。
位置の質問では外れた猫を、選択の質問は右の動物として正しく答えています。この写真群では、何が写っているかを答える力のほうが、位置を bbox で示す力より安定していました。ただし、これは 7 枚、10 問の範囲の観察です。
写っていない物の扱いと、用途ごとの使い分け
bbox の型に「なし」を返す手段がないこと
物体検出器は、写っている物の種類と bbox の一覧を返すので、写っていなければ、一覧にその種類が出ません。Jev の bbox の型は、聞かれた 1 つの物の位置を返すだけで、「写っていない」を返す手段がありません。前の章で見たとおり、信頼度も判定には使えませんでした。写っているかどうかは、bbox とは別の質問で聞く必要があります。
存在の確認を選択の型で分ける
bbox の実験で使った質問のうち、判定を保留した 3 件と、日本語の質問 5 件を除く 39 件について、「Is the elephant visible in photo?」のように聞き、「ある」と「ない」から選ばせました。「ある」を選ぶ確率の範囲は、次のとおりです。
| 区分 | 件数 | 「ある」と答えた件数 | 「ある」の確率の範囲 |
|---|---|---|---|
| 写っていない物 | 7 | 0 | 0.00〜0.21 |
| 写っている物(bbox の位置が合った) | 29 | 29 | 0.65〜1.00 |
| 写っている物(bbox の位置が外れた) | 3 | 3 | 0.81〜1.00 |
39 件すべてで、「ある」「ない」の答えが実際と合いました。bbox の信頼度では分けられなかった馬は、「ある」の確率が 0.00 でした。bbox の信頼度のほうは、同じ質問でも、一緒に聞く質問が違うと、0.63、0.51、0.49 と揺れました。
確率に余裕があったわけではありません。写っていない物で最も高かったのは、フェラーリ 2 台とランボルギーニの写真で「ポルシェ」を聞いた 0.21 で、似た車種が写っている写真でした。写っている物で最も低かったのは、書簡の「the word Coiner」の 0.65 で、手書きの文字でした。しきい値を 0.5 に置くと 39 件を分けられますが、0.21 から 0.65 の間に収まっています。
用途ごとの使い分け
知りたいことは、大きく 2 つに分かれます。写っているかどうかだけを知りたい場合と、位置の bbox まで知りたい場合です。物体検出器のように、種類と bbox の一覧がほしい場合は、後者を種類の数だけ並べた形になります。
| 用途 | 聞き方 | 入力トークン(1280×848 前後の写真) | 確かめた範囲 |
|---|---|---|---|
| 1 写っているかだけ | 選択の質問を 1 つ | 約 3,200 | 39 件で、すべて実際と合った |
| 2 位置の bbox まで | 選択の質問と bbox の質問を、同じ要求に入れる。「ある」の確率が 0.5 以上のときだけ、bbox を使う | 約 3,190 | 存在の判定は 39 件で合った。bbox の位置は、写っている 32 件のうち 29 件が合った |
| 3 種類と bbox の一覧 | 候補の種類ごとに、選択と bbox の質問を同じ要求に入れる | 3,394(4 種類、質問 8 つ) | 存在の判定は 16 件で、すべて合った |
選択と bbox を同じ要求に入れても、画像のトークンは前の章のとおり 1 回分です。bbox だけを聞いた要求の 3,135 に対して、選択を足した要求の入力は 55 トークン増えただけでした。2 回に分けて順に聞くと、画像を 2 回送ることになり、費用も時間も 2 倍になります。
同じ要求の中の質問は、互いに独立に評価されます。したがって、「ある」のときだけ bbox を使う、という判断は、答えを受け取る側で行います。
同じ要求に入れる質問は、次のように書きます。
"questions": {
"present": {
"type": "choice",
"instructions": "Is the horse visible in `photo`?",
"criteria": {"yes": "it is visible", "no": "it is not visible"}
},
"where": {"type": "box", "instructions": "the horse in `photo`"}
}
種類と bbox の一覧を 1 つの要求で作る
用途 3 を、写真 4 枚で試しました。1 枚につき候補の種類を 4 つ並べ、種類ごとに存在の質問と bbox の質問を入れた 8 つの質問を、1 つの要求で送っています。「ある」の確率が 0.5 以上の種類だけ、bbox を採用しました。
存在の判定は、16 件の候補すべてで実際と合いました。採用した 8 つの bbox のうち、7 つは写っている物に付いています。外れたのは、白黒写真の猫です。存在は「ある」の確率 1.00 で合っているのに、bbox は犬のあたりから猫までを含む横長になりました。赤いフェラーリが 2 台写る写真では、存在の質問が正しく「ある」でも、bbox は 1 台分しか返りません。
入力トークンは、8 つの質問の要求でも 3,394 で、bbox 1 つの要求の 3,135 から 259 増えただけでした。増やした質問 1 つあたりでは、約 37 トークンです。
この方法の限界
- 写っていない物は、私が選んだ、見間違えにくい物が中心です。同じ車種の別の型番など、紛らわしい物は試していません。
- 存在を確かめても、bbox の位置が正しいとは限りません。位置が外れた 3 件でも、存在は「ある」と答えています。
- bbox は 1 つの質問に 1 つです。同じ種類が複数写っていても、全部は返りません。全部を探すには、位置を添えて 1 つずつ聞くことになります。
日本語の改善の確認
公式は、1.14.0 の最大の改善は多言語だと書いています。手元に、日本語の既存ベンチマーク 3 種(JNLI、JCQA(JCommonsenseQA)、ライブドアニュースの分類)で、Jev を測った環境がありました。3 種の中身と、これまでの測定は、Jev, d1, Laya などのベンチマーク一覧にまとめています。同じ項目を 1.13.0 と 1.14.0 に投げて比べました。1 つの要求に項目を 1 件だけ入れる形は、これまでの測定と同じです。
| ベンチマーク | 項目数 | 1.13.0 の正解数 | 1.14.0 の正解数 | 1.13.0 だけ正解 | 1.14.0 だけ正解 | 差の検定(p 値) |
|---|---|---|---|---|---|---|
| JNLI(2 文の関係) | 300 | 254(84.7%) | 248(82.7%) | 8 | 2 | 0.109 |
| JCQA(常識の選択) | 300 | 296(98.7%) | 294(98.0%) | 4 | 2 | 0.688 |
| ライブドア(記事の分類) | 180 | 129(71.7%) | 128(71.1%) | 4 | 3 | 1.000 |
3 種とも、1.14.0 の正解数は 1.13.0 と同じか、わずかに下回りました。ただし、どの差も偶然の範囲です(一方だけが正解した項目の数を比べる検定で、p 値は 0.1 以上)。入力トークン数は 2 つの版でまったく同じで、応答時間の中央値も 0.16 秒前後で変わりません。
この結果から言えるのは、この 3 種の日本語の課題では、1.14.0 の改善が見えなかったことまでです。公式の言う多言語は、日本語以外の言語や、別の種類の課題を指しているのかもしれません。項目数も 180〜300 件と少なく、1〜2 ポイントの差は検出できません。
測定の費用と、まだ確かめていないこと
この記事の測定は、API の呼び出し約 1,750 回、入力トークン約 155 万、費用は約 0.07 ドルでした。
確かめていないことは次のとおりです。
- 長い入力(262k トークン)と、使い方の記録の提供の選択。
- 候補の種類が数十あるときの精度と費用。種類と bbox の一覧を作る実験は、候補 4 種類、写真 4 枚までです。増やした質問 1 つあたりの入力は約 37 トークンなので、費用は小さいと見込めますが、確かめてはいません。
- 同じ種類が複数写っているときの台数の数え上げ。
- 写真は 7 枚で、車の車種、手書き文字、白黒写真など、苦手な場面を網羅していません。1 つの質問を 1 回ずつ投げた結果で、繰り返しの確認は 3 つの質問(各 5 回)だけです。
- bbox の位置の判定は、私が目で見たもので、bbox の重なり具合などの数値指標は出していません。
- 専用の物体検出器や、画像を扱える他の大きなモデルとの比較。
出典
- TypeSafe AI, "Jev: For the builders AND dreamers", 2026-10-14. https://typesafe.ai/blog/jev-1-14
- TypeSafe AI, Images. https://docs.typesafe.ai/images (2026-10-15 に取得)
- TypeSafe AI, Box. https://docs.typesafe.ai/primitives/box (2026-10-15 に取得)
- TypeSafe AI, Models(料金)。https://docs.typesafe.ai/models (2026-10-15 に取得)
写真の出典
| 名前 | 作者と題名 | 利用条件 |
|---|---|---|
| 車 1 | Axion23「Ferrari California & Porsche Carrera GT」 https://commons.wikimedia.org/wiki/File:Ferrari_California_%26_Porsche_Carrera_GT_(8460600226).jpg | CC BY 2.0 |
| 車 2 | Axion23「Ferrari f50 x 2 and Lamborghini Countach」 https://commons.wikimedia.org/wiki/File:Ferrari_f50_x_2_and_Lamborghini_Countach_(6729410593).jpg | CC BY 2.0 |
| 横断歩道 | Aaaatu「Korean smartphone zombie pedestrian traffic light green」 https://commons.wikimedia.org/wiki/File:Korean_smartphone_zombie_pedestrian_traffic_light_green.jpg | CC BY-SA 4.0 |
| マグカップ | Acabashi「Bacon butty and mug of tea at Copsale Hall, Nuthurst, West Sussex, England」 https://commons.wikimedia.org/wiki/File:Bacon_butty_and_mug_of_tea_at_Copsale_Hall,_Nuthurst,_West_Sussex,_England.jpg | CC BY-SA 4.0 |
| 猫と犬 | White House Photograph Office「Socks the Cat and Buddy the Dog Sitting on the South Lawn at the White House」(DPLA) | パブリックドメイン |
| 商店街 | Electroliner「Tokyo-taito-shoppingarcade」 https://commons.wikimedia.org/wiki/File:Tokyo-taito-shoppingarcade.jpg | パブリックドメイン |
| 書簡 | U.S. Mint「A. Loudon Snowden, Coiner, signature on letter ... 1875 (cropped)」 | パブリックドメイン |
この記事の図は、上の写真に bbox を重ねたものです。作者名、題名、利用条件を示し、元の写真に加えた変更は、縮小と bbox の描き込みです。CC BY-SA 4.0 の写真(横断歩道、マグカップ)を使った図は、同じ CC BY-SA 4.0 で提供します。