はじめに
OpenRouter Decisions APIで利用できるtypesafe/jev-1.13を使い、日本語テキスト分類をzero-shotで評価しました。
今回の目的は、追加学習を行わないJevが、内容分類と感情分類でどの程度の性能を出せるかを確認することです。本記事ではJev単体の結果を扱います。
検証には次の2データセットを使用しました。
- Livedoor News Corpus:9カテゴリの記事分類
- WRIME Ver.2:5段階の感情極性分類
評価日は2026年9月23日です。APIやモデルは更新される可能性があるため、将来の再実行で同一結果になるとは限りません。
まとめ
- Livedoorの文書分類はAccuracy 0.7007、Macro-F1 0.6812
- WRIMEの5段階感情分類はAccuracy 0.5004、Macro-F1 0.4640
- Livedoorでは内容が近い媒体カテゴリ、WRIMEでは感情強度の隣接クラスが主な誤り
- 3,606文章の合計API費用は約
$0.10258 - 追加学習不要という利点がある一方、データセット固有の境界にはクラス説明の工夫や教師データを使うモデルとの比較が必要
実験コード
実験コードは要望があれば公開します。
Jevの評価方法
Jevはモデルを追加学習せず、各データセットのテストデータをそのまま分類しました。
APIリクエストでは、データセットが持つクラス名と説明をcriteriaとして渡し、各文章に対して最も適切なラベルを1つ選択させています。1回のリクエストには最大8文章を含め、各文章は最大2,400文字に制限しました。
主な設定は次のとおりです。
| 項目 | 設定値 |
|---|---|
| モデル | typesafe/jev-1.13 |
| API | OpenRouter Decisions API |
| 学習 | なし(zero-shot) |
| バッチサイズ | 8文章 |
| 1文章の最大文字数 | 2,400文字 |
| タイムアウト | 120秒 |
| seed | 42(記録用) |
表の凡例:バッチサイズは1 APIリクエストにまとめる文章数、seedは実験記録上の値です。Jevは学習やランダムサンプリングを行わないため、seedによる5回評価は行っていません。
評価指標
次の指標を記録しました。
- Accuracy:全テストデータの正解率
- Macro-F1:各クラスのF1を同じ重みで平均した値
- 推論時間:API通信を含む全テストデータの処理時間
- 1文書あたり推論時間
- APIレスポンスの
usage.costを合計した費用 - APIが返したconfidenceとクラス別probabilities
Macro-F1を重視したのは、クラス数やクラスごとの件数が異なる場合でも、少数クラスを含めて性能を確認しやすいためです。
結果
全体結果
| データセット | テスト件数 | Accuracy | Macro-F1 | 推論時間 | 平均推論時間 | API費用 |
|---|---|---|---|---|---|---|
| Livedoor | 1,106 | 0.7007 | 0.6812 | 44.83秒 | 40.54 ms/文書 | $0.07321 |
| WRIME | 2,500 | 0.5004 | 0.4640 | 76.49秒 | 30.60 ms/文書 | $0.02937 |
表の凡例:推論時間にはAPI通信時間が含まれます。API費用は実行時にレスポンスから取得した対象テストセット全体の値です。金額の合計は約$0.10258でした。
1,000文章あたりに換算すると、Livedoorは約$0.06619、WRIMEは約$0.01175です。文章長などが異なるため、同じ件数でも費用は大きく異なりました。
Livedoor News Corpus
LivedoorではAccuracy 0.7007、Macro-F1 0.6812でした。追加学習なしで9カテゴリを分類した結果として、カテゴリによる得意不得意が明確に表れています。
クラス別結果
| クラス | Precision | Recall | F1 | 件数 |
|---|---|---|---|---|
| dokujo-tsushin | 0.9275 | 0.4885 | 0.6400 | 131 |
| it-life-hack | 0.6719 | 0.6565 | 0.6641 | 131 |
| kaden-channel | 0.7805 | 0.2481 | 0.3765 | 129 |
| livedoor-homme | 0.9434 | 0.6494 | 0.7692 | 77 |
| movie-enter | 0.6132 | 0.9924 | 0.7580 | 131 |
| peachy | 0.6779 | 0.8016 | 0.7345 | 126 |
| smax | 0.6648 | 0.9237 | 0.7732 | 131 |
| sports-watch | 0.8645 | 0.9926 | 0.9241 | 135 |
| topic-news | 0.4872 | 0.4957 | 0.4914 | 115 |
表の凡例:Precisionはそのクラスと予測した文章の正解割合、Recallは正解クラスを拾えた割合、F1はPrecisionとRecallの調和平均、件数はテストデータ数です。
sports-watchはF1 0.9241と良好でした。一方、kaden-channelはPrecision 0.7805に対してRecall 0.2481で、家電記事を他カテゴリへ振り分ける傾向がありました。
主な誤分類は次のとおりです。
| 正解 | 予測 | 件数 |
|---|---|---|
| dokujo-tsushin | peachy | 39 |
| kaden-channel | topic-news | 38 |
| topic-news | movie-enter | 35 |
| it-life-hack | smax | 31 |
| kaden-channel | smax | 21 |
| kaden-channel | it-life-hack | 21 |
表の凡例:件数は、正解クラスを左列から中央列へ誤分類した文章数です。
媒体名に近いラベルだけを渡すと、記事内容が重なるカテゴリの境界をzero-shotで判断しにくいことが分かります。特にIT、スマートフォン、家電は内容の重複が多く、クラス説明の改善余地があります。
WRIME
WRIMEではAccuracy 0.5004、Macro-F1 0.4640でした。ニュースカテゴリ分類より難しく、特に感情の強度を区別する際に誤りが増えています。
クラス別結果
| クラス | Precision | Recall | F1 | 件数 |
|---|---|---|---|---|
| negative | 0.4713 | 0.6652 | 0.5517 | 457 |
| neutral | 0.4034 | 0.5198 | 0.4542 | 506 |
| positive | 0.5577 | 0.5318 | 0.5444 | 818 |
| strong_negative | 0.4783 | 0.1746 | 0.2558 | 252 |
| strong_positive | 0.6193 | 0.4390 | 0.5138 | 467 |
表の凡例:指標の意味はLivedoorの表と同じです。strong_negativeとstrong_positiveは、それぞれ強い否定感情と強い肯定感情です。
最大の課題はstrong_negativeのRecallが0.1746にとどまったことです。強い否定感情の多くが通常のnegativeへ分類されました。
主な誤分類は次のとおりです。
| 正解 | 予測 | 件数 |
|---|---|---|
| positive | neutral | 215 |
| strong_positive | positive | 190 |
| strong_negative | negative | 156 |
| neutral | negative | 112 |
| neutral | positive | 108 |
| positive | strong_positive | 101 |
表の凡例:件数は正解ラベルと予測ラベルが異なった文章数です。
誤りの多くは極性そのものを逆にするものではなく、strong_positiveとpositive、strong_negativeとnegativeのような隣接する強度間で発生しました。zero-shotのラベル説明だけでは、データセット固有の強度基準を合わせにくいと考えられます。
confidenceの傾向
APIが返したconfidenceも確認しました。
| データセット | 全体平均 | 正解時平均 | 誤分類時平均 |
|---|---|---|---|
| Livedoor | 0.8772 | 0.9168 | 0.7844 |
| WRIME | 0.6879 | 0.7224 | 0.6534 |
表の凡例:正解時平均と誤分類時平均は、テストデータを正誤で分けたときのconfidence平均です。
両データセットとも正解時のconfidenceが高い傾向でした。ただし誤分類時にも高いconfidenceを返す例が含まれるため、confidenceを確率としてそのまま扱う前に、信頼度校正を別途評価する必要があります。
結果の解釈と限界
今回の結果から、Jevはカテゴリの意味が比較的明確なニュース分類では、追加学習なしでも一定の性能を得られることが分かりました。一方、データセット固有の感情強度を区別するWRIMEでは性能が下がりました。
この実験には次の制約があります。
- Jevはzero-shotの1回評価であり、5 seedsの平均ではない
- クラス説明の書き方によって結果が変わる可能性がある
- 文章を2,400文字で切っているため、後半の情報を利用できない場合がある
- APIのモデル更新やルーティング変更により再現値が変わる可能性がある
- API通信時間はネットワーク状況に左右される
- confidenceの校正性能は未評価
まとめ(再掲)
- Livedoorの分類はAccuracy 0.7007、Macro-F1 0.6812
- WRIMEの5段階感情分類はAccuracy 0.5004、Macro-F1 0.4640
- Livedoorでは内容が近い媒体カテゴリ、WRIMEでは感情強度の隣接クラスが主な誤り
- 3,606文章の合計API費用は約
$0.10258 - 追加学習不要という利点がある一方、データセット固有の境界にはクラス説明の工夫や教師データを使うモデルとの比較が必要
BERT系モデルの実験が完了したら、few-shot学習曲線を含む比較記事も公開する予定です。


