0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Jevは日本語テキスト分類をzero-shotでどこまで解けるか:Livedoor News CorpusとWRIMEで検証

0
Last updated at Posted at 2026-09-23

はじめに

OpenRouter Decisions APIで利用できるtypesafe/jev-1.13を使い、日本語テキスト分類をzero-shotで評価しました。

今回の目的は、追加学習を行わないJevが、内容分類と感情分類でどの程度の性能を出せるかを確認することです。本記事ではJev単体の結果を扱います。

検証には次の2データセットを使用しました。

  • Livedoor News Corpus:9カテゴリの記事分類
  • WRIME Ver.2:5段階の感情極性分類

評価日は2026年9月23日です。APIやモデルは更新される可能性があるため、将来の再実行で同一結果になるとは限りません。

まとめ

  • Livedoorの文書分類はAccuracy 0.7007、Macro-F1 0.6812
  • WRIMEの5段階感情分類はAccuracy 0.5004、Macro-F1 0.4640
  • Livedoorでは内容が近い媒体カテゴリ、WRIMEでは感情強度の隣接クラスが主な誤り
  • 3,606文章の合計API費用は約$0.10258
  • 追加学習不要という利点がある一方、データセット固有の境界にはクラス説明の工夫や教師データを使うモデルとの比較が必要

実験コード

実験コードは要望があれば公開します。

Jevの評価方法

Jevはモデルを追加学習せず、各データセットのテストデータをそのまま分類しました。

APIリクエストでは、データセットが持つクラス名と説明をcriteriaとして渡し、各文章に対して最も適切なラベルを1つ選択させています。1回のリクエストには最大8文章を含め、各文章は最大2,400文字に制限しました。

主な設定は次のとおりです。

項目 設定値
モデル typesafe/jev-1.13
API OpenRouter Decisions API
学習 なし(zero-shot)
バッチサイズ 8文章
1文章の最大文字数 2,400文字
タイムアウト 120秒
seed 42(記録用)

表の凡例:バッチサイズは1 APIリクエストにまとめる文章数、seedは実験記録上の値です。Jevは学習やランダムサンプリングを行わないため、seedによる5回評価は行っていません。

評価指標

次の指標を記録しました。

  • Accuracy:全テストデータの正解率
  • Macro-F1:各クラスのF1を同じ重みで平均した値
  • 推論時間:API通信を含む全テストデータの処理時間
  • 1文書あたり推論時間
  • APIレスポンスのusage.costを合計した費用
  • APIが返したconfidenceとクラス別probabilities

Macro-F1を重視したのは、クラス数やクラスごとの件数が異なる場合でも、少数クラスを含めて性能を確認しやすいためです。

結果

全体結果

データセット テスト件数 Accuracy Macro-F1 推論時間 平均推論時間 API費用
Livedoor 1,106 0.7007 0.6812 44.83秒 40.54 ms/文書 $0.07321
WRIME 2,500 0.5004 0.4640 76.49秒 30.60 ms/文書 $0.02937

表の凡例:推論時間にはAPI通信時間が含まれます。API費用は実行時にレスポンスから取得した対象テストセット全体の値です。金額の合計は約$0.10258でした。

1,000文章あたりに換算すると、Livedoorは約$0.06619、WRIMEは約$0.01175です。文章長などが異なるため、同じ件数でも費用は大きく異なりました。

jev_cost.png

Livedoor News Corpus

LivedoorではAccuracy 0.7007、Macro-F1 0.6812でした。追加学習なしで9カテゴリを分類した結果として、カテゴリによる得意不得意が明確に表れています。

クラス別結果

クラス Precision Recall F1 件数
dokujo-tsushin 0.9275 0.4885 0.6400 131
it-life-hack 0.6719 0.6565 0.6641 131
kaden-channel 0.7805 0.2481 0.3765 129
livedoor-homme 0.9434 0.6494 0.7692 77
movie-enter 0.6132 0.9924 0.7580 131
peachy 0.6779 0.8016 0.7345 126
smax 0.6648 0.9237 0.7732 131
sports-watch 0.8645 0.9926 0.9241 135
topic-news 0.4872 0.4957 0.4914 115

表の凡例:Precisionはそのクラスと予測した文章の正解割合、Recallは正解クラスを拾えた割合、F1はPrecisionとRecallの調和平均、件数はテストデータ数です。

sports-watchはF1 0.9241と良好でした。一方、kaden-channelはPrecision 0.7805に対してRecall 0.2481で、家電記事を他カテゴリへ振り分ける傾向がありました。

主な誤分類は次のとおりです。

正解 予測 件数
dokujo-tsushin peachy 39
kaden-channel topic-news 38
topic-news movie-enter 35
it-life-hack smax 31
kaden-channel smax 21
kaden-channel it-life-hack 21

表の凡例:件数は、正解クラスを左列から中央列へ誤分類した文章数です。

媒体名に近いラベルだけを渡すと、記事内容が重なるカテゴリの境界をzero-shotで判断しにくいことが分かります。特にIT、スマートフォン、家電は内容の重複が多く、クラス説明の改善余地があります。

livedoor_confusion_jev.png

WRIME

WRIMEではAccuracy 0.5004、Macro-F1 0.4640でした。ニュースカテゴリ分類より難しく、特に感情の強度を区別する際に誤りが増えています。

クラス別結果

クラス Precision Recall F1 件数
negative 0.4713 0.6652 0.5517 457
neutral 0.4034 0.5198 0.4542 506
positive 0.5577 0.5318 0.5444 818
strong_negative 0.4783 0.1746 0.2558 252
strong_positive 0.6193 0.4390 0.5138 467

表の凡例:指標の意味はLivedoorの表と同じです。strong_negativeとstrong_positiveは、それぞれ強い否定感情と強い肯定感情です。

最大の課題はstrong_negativeのRecallが0.1746にとどまったことです。強い否定感情の多くが通常のnegativeへ分類されました。

主な誤分類は次のとおりです。

正解 予測 件数
positive neutral 215
strong_positive positive 190
strong_negative negative 156
neutral negative 112
neutral positive 108
positive strong_positive 101

表の凡例:件数は正解ラベルと予測ラベルが異なった文章数です。

誤りの多くは極性そのものを逆にするものではなく、strong_positiveとpositive、strong_negativeとnegativeのような隣接する強度間で発生しました。zero-shotのラベル説明だけでは、データセット固有の強度基準を合わせにくいと考えられます。

wrime_confusion_jev.png

confidenceの傾向

APIが返したconfidenceも確認しました。

データセット 全体平均 正解時平均 誤分類時平均
Livedoor 0.8772 0.9168 0.7844
WRIME 0.6879 0.7224 0.6534

表の凡例:正解時平均と誤分類時平均は、テストデータを正誤で分けたときのconfidence平均です。

両データセットとも正解時のconfidenceが高い傾向でした。ただし誤分類時にも高いconfidenceを返す例が含まれるため、confidenceを確率としてそのまま扱う前に、信頼度校正を別途評価する必要があります。

結果の解釈と限界

今回の結果から、Jevはカテゴリの意味が比較的明確なニュース分類では、追加学習なしでも一定の性能を得られることが分かりました。一方、データセット固有の感情強度を区別するWRIMEでは性能が下がりました。

この実験には次の制約があります。

  • Jevはzero-shotの1回評価であり、5 seedsの平均ではない
  • クラス説明の書き方によって結果が変わる可能性がある
  • 文章を2,400文字で切っているため、後半の情報を利用できない場合がある
  • APIのモデル更新やルーティング変更により再現値が変わる可能性がある
  • API通信時間はネットワーク状況に左右される
  • confidenceの校正性能は未評価

まとめ(再掲)

  • Livedoorの分類はAccuracy 0.7007、Macro-F1 0.6812
  • WRIMEの5段階感情分類はAccuracy 0.5004、Macro-F1 0.4640
  • Livedoorでは内容が近い媒体カテゴリ、WRIMEでは感情強度の隣接クラスが主な誤り
  • 3,606文章の合計API費用は約$0.10258
  • 追加学習不要という利点がある一方、データセット固有の境界にはクラス説明の工夫や教師データを使うモデルとの比較が必要

BERT系モデルの実験が完了したら、few-shot学習曲線を含む比較記事も公開する予定です。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?