はじめに
自作している日本語の音韻類似検索を評価するためのベンチマークの研究的な位置づけを整理するために、LLMの音韻理解能力評価に関する研究を調査している。
今回は、日本語LLMの読み理解を評価する「YOMI-Bench：LLMの日本語読み理解に向けた評価用ベンチマーク」という論文についてまとめる。
- 論文情報: 三林亮太, 高村大也, 谷中瞳. (2026). YOMI-Bench：LLMの日本語読み理解に向けた評価用ベンチマーク. 言語処理学会第32回年次大会.
論文解説
YOMI-Benchとは
YOMI-Bench は、日本語LLMの読み能力を評価するために提案されたベンチマークである。
日本語における漢字は同じ1文字でも読みの候補が複数あり、表層上のテキストからは読みを想起するのが難しい。このような言語的側面から、LLM においても日本語の漢字の読みに関する性能が低いことが経験的に知られている。
YOMI-Bench が対象とするのは、日本語における以下の3つのタスクである。
- 読み推定タスク
- 押韻選択タスク
- 押韻生成タスク
それぞれ、漢字の読みを推定する能力、同じ母音列を持つ語を選択する能力、同じ母音列を持つ語を生成する能力を評価するタスクである。
各タスクのサンプルは論文の表1に示されている。
| タスク | プロンプト例 | 正解 |
|---|---|---|
| 読み推定 | 覚醒という単語の読みを答えてください | かくせい |
| 押韻選択 | 覚醒と同じ母音列を持つ文字列を以下から1つ選択してください (A) 論文, (B) 学生, (C) 委員会, (D) 博士 | (B) 学生 |
| 押韻生成 | かくせいという単語と母音が完全に一致する単語を答えてください | はつめい |
なお読み推定のタスクは、付録Aのプロンプトテンプレート例が
- 「{word}」という単語の「{char}」という漢字の読みをひらがなで答えて下さい。
のような形式であるため、実際には、熟語全てではなく、熟語のうち特定の漢字の読みを推定するタスクであった可能性がある。
以下、各タスクの詳細を記述する。
タスク1：読み推定タスク
タスクの説明
読み推定タスクは、入力された単語に対して、正しい読みを出力するタスクである。
漢字1文字に対する読み候補が1つのみである漢字で構成された単語を Single、読み候補が2つ以上存在する漢字で構成された単語を Multiple として扱う。後者のほうが難易度が高まることを期待している。
評価指標
LLMの出力から読みに相当する部分を正規表現で抽出し、正解と一致しているか評価した。読みが複数ある漢字は、同じ漢字を１つのグループとして扱い、グループ内での平均スコアをその漢字に対するスコアとして、さらに全漢字に対するグループスコアの平均を算出し、タスク全体のスコアとした。
タスク2：押韻選択タスク
タスクの説明
押韻選択タスクは、入力された単語と同じ母音列を持つ単語を、4つの選択肢の中から1つ選択するタスクである。
漢字表記の単語とひらがな表記の単語の2種類を対象としている。前者のほうが難易度が高いことを期待している。
評価指標
LLMの出力から選択肢を抽出し、正解と一致しているか評価した。
タスク3：押韻生成タスク
タスクの説明
押韻生成タスクは、入力されたひらがな表記の単語に対して、同一の母音列を持つひらがなの単語を生成するタスクである。
評価指標
LLMの出力から生成された単語を抽出し、入力語の母音列と一致するか評価した。
漢字データ収集
文化庁が公開している常用漢字表を参考に、読みが1つの漢字、負２つ以上の漢字をそれぞれ100文字ずつランダムに選択し、合計200文字を対象とした。論文には記載がないが、漢字とともにその用例（熟語）も収集されたのではないかと思われる。押印選択タスクにおける選択肢の単語がどのように作られたかは論文中では記載がなかったように思われる（読み落としだったらすみません...）。
プロンプト設計
YOMI-Bench では、単一のプロンプトに依存することによるバイアスを避けるため、各タスクに対して複数種類のプロンプトを作成した。
具体的には、各タスクのベースとなるプロンプトを作成したうえで、その文意を維持したまま ChatGPT を用いて言い換えを行っている。ベースプロンプト1件と言い換えプロンプト4件の合計5件を各タスクに用意し、実験ではこれら5件のプロンプトを用いて評価を行い、得られたスコアの平均を最終的な評価結果とした。
YOMI-Benchの主な結果
多言語対応のローカルLLM１件、日本語に特化したローカルLLM 4件、商用モデル ５件の合計10モデルを対象に評価した。
主な結果は以下であった（論文の表2より転記していますが、論文のほうが見やすいと思います）
| Models | 読み推定タスク Single | 読み推定タスク Multiple | 押韻選択タスク 漢字 | 押韻選択タスク ひらがな | 押韻生成タスク ひらがな |
|---|---|---|---|---|---|
| Ministral-8B-Instruct-2410 | 0.4679 | 0.3023 | 0.2960 | 0.3400 | 0.6519 |
| Llama-3.1-Swallow-8B-Instruct-v0.5 | 0.8219 | 0.5116 | 0.2960 | 0.5020 | 0.8480 |
| Llama-3-ELYZA-JP-8B | 0.7900 | 0.4380 | 0.3040 | 0.5800 | 0.5439 |
| llm-jp-3-7.2b-instruct | 0.7999 | 0.5174 | 0.2279 | 0.2620 | 0.1660 |
| llm-jp-3-13b-instruct | 0.8960 | 0.5558 | 0.2780 | 0.3379 | 0.0980 |
| claude-sonnet-4-5-20250929 | 0.9960 | 0.9216 | 0.9559 | 0.9840 | 0.7280 |
| mistral-medium-2508 | 0.8019 | 0.5410 | 0.3460 | 0.5740 | 0.4679 |
| gemini-2.5-flash | 0.9820 | 0.8631 | 0.9380 | 0.9480 | 0.5920 |
| gpt-4o | 0.9620 | 0.6943 | 0.5820 | 0.2580 | 0.5980 |
| gpt-5 | 0.9840 | 0.9678 | 1.0000 | 0.9980 | 0.7800 |
以下のようなことが読み取れる。
- 読み推定タスクではsingleよりmultipleが、押韻選択タスクではひらがなより漢字のほうが、それぞれLLMにとっての難易度が高い。
- 読み推定タスクは、多言語ローカルより日本語ローカルのほうが性能が高い。商用モデルはさらに性能が高い。
- claudeとgpt-5が全体的にスコアが高い
- 押韻生成タスクは全体的にスコアが低い。商用モデルであっても、十分な性能が得られていない。
音韻検索ベンチマークとの関係
筆者が構築した音韻検索ベンチマーク（soramimi-phonetic-search）は、替え歌歌詞から取得された元歌詞と置換後表現の音韻ペアを正解として、候補語集合から正解語を検索・ランキングするタスクである。
YOMI-Benchとは以下の点が異なる。
- YOMI-Bench は、漢字の読みの推定や、同じ母音列を持つ語の選択・生成を評価するベンチマークである。
- soramimi-phonetic-search は、カナのみが入力となるため漢字の読みは評価対象ではない。一方で、音韻類似性については、母音だけでなく、子音や特殊モーラの類似、一致も考慮する必要がある。
おわりに
自作の音韻検索ベンチマークの研究的な位置づけを整理するために、日本語LLMの読み理解能力を評価する YOMI-Bench の論文を読んでみた。
YOMI-Bench は、日本語における漢字の読みの難しさに着目し、読み推定・押韻選択・押韻生成の3タスクでLLMの読み能力を評価している。特に、押韻選択や押韻生成は、音韻検索ベンチマークと関心が近く、参考になる点が多かった。