はじめに
自作している日本語の音韻類似検索を評価するためのベンチマークの研究的な位置づけを整理するために、LLMの音韻理解能力評価に関する研究を調査している。
今回は「PhonologyBench: Evaluating Phonological Skills of Large Language Models」という論文についてまとめる。
論文情報: Suvarna, A., Khandelwal, H., & Peng, N. (2024). PhonologyBench: Evaluating Phonological Skills of Large Language Models. ACL 2024 KnowLLM Workshop.
論文解説
PhonologyBenchとは
PhonologyBench は、LLMの音韻能力を評価するために提案された英語のベンチマークである。
LLMは教育ツールや詩の生成など、音韻論を活用する様々な下流アプリケーションで広く使用されているが、テキストを学習しているため、テキスト表層と音韻の関係性の理解は不十分である可能性がある。そこで、LLMが実際にどの程度音韻的な能力を持つのかを評価するために PhonologyBench を提案した。
PhonologyBench が対象とするのは、英語における以下の3つのタスクである。
- Grapheme-to-Phoneme Conversion
- Syllable Counting
- Rhyme Word Generation
それぞれ、文字と音の対応、音節単位の認識、韻を踏む語の生成を評価するタスクである。
各タスクのサンプルはFigure 2に示されている。
以下、各タスクの詳細を記述する。
タスク1：Grapheme-to-Phoneme Conversion
タスクの説明
Grapheme-to-Phoneme Conversion は、単語の綴りから発音（IPA）を推定するタスクである。英語では、文字列と発音の対応が必ずしも規則的ではないため、LLMが単語の表層的な綴りだけではなく、綴りと発音の対応関係をどの程度扱えるかを評価できる。
データセットと評価指標
SIGMORPHON 2021 G2P task（Ashby et al., 2021）は、3000単語と対応する発音が収集された。
LLM評価では以下のプロンプトが用いられ、LLM出力と正解発音が完全一致した割合を精度とした。
You are an expert in American English phonology, phonetics and morphology.
In this task, you are required to map a sequence of graphemes -characters
representing a word to a transcription of that word’s pronunciation (phonemes).
If you cannot complete the task, respond with - NONE.
Generate the phoneme for the grapheme :’<input>’
日本語訳は以下。
あなたはアメリカ英語の音韻論、音声学、形態論の専門家です。
このタスクでは、単語を表す文字素の並びを、その単語の発音（音素）の転写へ対応づけることが求められます。
このタスクを完了できない場合は、- NONE と回答してください。
文字素 ’<input>’ に対応する音素を生成してください。
ベースライン
ベースラインとして、G2P ライブラリ（Park & Kim, 2019）のデータセット上での性能を報告した。このライブラリは辞書引きとニューラルネットワークを組み合わせた手法であり、発音情報へのアクセスを持つ妥当なベースラインとして機能する。
タスク2：Syllable Counting
タスクの説明
Syllable Countingは、与えられた単語に含まれる音節数を数えるタスクである。音節数を決定するためには、母音のピークと、その前後に続く子音を特定する必要があるため、LLMが文字列から音の単位をどの程度認識できるかを評価できる。
データセットと評価指標
Sunら（2023）の研究を参考に、Romance Books and Reddit Short Storiesのデータセットから1000文を収集し、g2p辞書を利用して、音節数を数えた。
LLM評価では以下のプロンプトが用いられ、LLM出力と正解音節数を正確に予測できた割合を精度とした。
Syllable is a unit of pronunciation having one vowel sound, with or without surrounding consonants, forming the whole or a part of a word.
Count the number of syllables in the given sentence :’<input>’
日本語訳は以下。
音節とは、1 つの母音を中心とし、前後に子音を伴うこともある発音の単位で、語の全体または一部を構成するものです。
与えられた文 ’<input>’ に含まれる音節数を数えてください。
ベースライン
ベースラインとして、文（テキスト）中の母音（a, e, i, o, u）の出現数を数える単純手法を実装した。加えて、工学系大学院レベルの教育を受け、米国英語で業務遂行可能な英語運用能力を持つアノテータ 1 名に同タスクを実施してもらい、その結果を人間ベースラインとして扱った。
タスク3：Rhyme Word Generation
タスクの説明
Rhyme Word Generation は、指定された語と韻を踏む語を生成するタスクである。たとえば、lightという単語に対して、night, bright, sightといった英単語を出力することを期待する。
データセットと評価指標
Spelling Bee Study List（Maguire, 2006）と Google One Trillion corpus から 300 語を収集してデータセットを構築した。各単語に対して、オンラインのライム辞書 WordHippo から韻語（slant rhyme と strict rhyme の両方）を取得し、これをゴールド参照とした。ゴールド参照の十分なカバレッジを確保するため、1 語あたり平均 1200 語の韻語を収集した。さらに、WIMBD index（Elazar et al., 2024）を用いてデータセットを高頻度語と低頻度語の 2 区分に分類した。
LLM評価では以下のプロンプトによって、LLMに韻語を出力させ、Success Rate（SR）を評価した。単語ごとのSRは、生成された韻語候補のうち正解韻語集合に含まれる候補数に基づいて算出し、SR は全単語に対するこの成功率の平均値とした。
Rhyming words are words that have the same ending sound.
In simpler terms, it can be defined as the repetition of similar ending sounds.
Give 5 words that rhyme with ’<input>’.
日本語訳は以下。
韻を踏む単語とは、語末の音が同じ単語のことです。
より簡単に言えば、似た語末音の繰り返しと定義できます。
’<input>’ と韻を踏む単語を 5 つ挙げてください。
ベースライン
人間性能もベースラインとして提示し、大学教育レベルかつ米国英語を母語とするアノテータ 2 名がこのタスクを実施した。アノテータには時給 18 ドルを支払い、全アノテーション取得の総コストは 100 ドルだった。
加えて、タスク特化ベースラインとして、LLaMA-2-13B-Chat を 高頻度語 でファインチューニング（2 エポック、学習率 2e-6）し、低頻度語 で評価した。
PhonologyBenchの主な結果
論文のFigure 3より主要な結果は以下の通り。
LLMは音声データに直接アクセスしていないにもかかわらず、音韻タスクで一定の性能を示した。
一方で、人間ベースラインとの性能差も大きかった。特に、Rhyme Word Generation では人間との差が約17%、Syllable Counting では約45%あった。
また、すべてのタスクで一貫して最も優れた性能を示すモデルは存在しなかった。つまり、あるモデルがG2Pに強くても、音節数カウントや韻生成に強いとは限らなかった。
音韻検索ベンチマークとの関係
筆者が構築した音韻検索ベンチマーク（soramimi-phonetic-search）は、替え歌歌詞から取得視された元歌詞との音韻ペアを正解として、候補語集合から正解語を検索・ランキングするタスクである。
PhonologyBenchのRhyme Word Generationは、指定された単語に対して韻を踏む単語を生成するタスクであり、内容が近い。ただし、Rhyme Word Generationは生成した単語が平均1200の正解候補に含まれていればよいが、soramimi-phonetic-searchでは、音韻の類似度を相対的に比較し並べ替える必要がある点で、性質が異なる。一般にはsoramimi-phonetic-searchのような音韻検索のほうが、より細かい音韻的な理解を要求するタスクである可能性がある。
また対象言語が英語と日本語で異なる点も、当然、主要な違いとして挙げられる。
おわりに
自作の音韻検索ベンチマークの研究的な位置づけを整理するために、LLMの音韻理解能力を評価するPhonologyBenchの論文を読んでみた。
音韻理解の重要性の説明の仕方や、具体的なデータセットの構築方法、評価方法など参考になる点が多く、よかった。