はじめに
自作している日本語の音韻類似検索を評価するためのベンチマークの研究的な位置づけを整理するために、LLMの音韻理解能力評価に関する研究を調査している。
今回は、教育理論に基づくプロンプトによってLLMの音韻推論能力を引き出す「P-CoT: A Pedagogically-motivated Participatory Chain-of-Thought Prompting for Phonological Reasoning in LLMs」という論文についてまとめる。
- 論文情報: Jang, D., Ahn, Y., & Shin, H. (2025). P-CoT: A Pedagogically-motivated Participatory Chain-of-Thought Prompting for Phonological Reasoning in LLMs. Findings of the Association for Computational Linguistics: ACL 2025, pp. 21958–21979.
なお、本論文の評価には、以前の記事で紹介した PhonologyBench がそのまま用いられている。ベンチマーク側の詳細はそちらの記事も参照されたい。
論文解説
P-CoTとは
P-CoT（Pedagogically-motivated Participatory Chain-of-Thought）は、LLMの音韻推論能力を引き出すために提案されたプロンプティング手法である。
これまでの記事で紹介してきた PhonologyBench や YOMI-Bench などが「LLMの音韻能力を評価するベンチマーク」の提案だったのに対し、本論文は「音韻タスクの性能をプロンプトの工夫でどこまで向上できるか」に焦点を当てた手法提案の論文である。
論文の出発点は、few-shot learning が音韻タスクにおいて一貫した効果を持たないという観察である。著者らは、LLMは音韻に関するメタ知識を潜在的には持っているものの、それを活用する効果的な戦略を欠いているのではないかと仮説を立てた。そこで、教育学の理論である以下の2つを組み合わせたプロンプトを設計した。
-
足場かけ（scaffolding; Wood et al., 1976）
学習者が独力では解けない課題に取り組めるよう、一時的な支援を与える手法。 -
発見学習（discovery learning; Bruner, 1961）
答えを直接教えるのではなく、学習者自身の探究を通じて原理を発見させる手法。
具体的には、プロンプト内に教師と生徒の対話（participatory な学習のやりとり）を埋め込み、モデルに「授業に参加している」かのような文脈を与える。この手法により、PhonologyBench の3タスクにおいて、12個のLLMすべてで一貫した性能向上（最大52%ポイント）を達成し、一部タスクでは人間ベースラインも上回ったと報告されている。
評価の枠組み
タスクとデータ
評価には PhonologyBench（Suvarna et al., 2024）の以下の3タスクが用いられる。
| タスク | 入力例 | 出力例 |
|---|---|---|
| Rhyme Word Generation | 'education' と韻を踏む単語を5つ挙げよ | circulation, occupation, reputation, ... |
| G2P Conversion | 'basement' をアメリカ英語のIPAに変換せよ | /beɪsmənt/ |
| Syllable Counting | "To top it all off, I miss my stunner." の音節数を数えよ | 10 |
データ数は、G2P Conversion が高頻度語1,042件・低頻度語2,084件、Rhyme Word Generation が一般語199件・稀少語110件、Syllable Counting が993文である（論文の Table 2 より。ただし G2P の高頻度・低頻度の件数は PhonologyBench 原論文と入れ替わっているように見える）。
評価指標は、G2P Conversion と Syllable Counting が Exact Match、Rhyme Word Generation が Success Rate（生成した韻語候補のうち正解集合に含まれる割合の平均）であり、PhonologyBench と同一である。
評価対象モデル
オープンモデル8件（Llama-3.3-70B, Llama-3.1-8B, Mistral-7B, Ministral-8B, Qwen2.5-72B, Qwen2.5-7B, gemma-2-9b, gemma-2-27b の各 Instruct 版）と、クローズドモデル4件（GPT-3.5-turbo, GPT-4o, Claude 3.5 Sonnet, Claude 3.5 Haiku）の合計12モデルが評価されている。
生成のシードを固定して再現性を確保し、量子化などは適用せずに A100 GPU 上で推論している。zero-shot のベースラインには PhonologyBench のプロンプトをそのまま用いている。
few-shot learning の効果（前段の実験）
P-CoT の提案に先立ち、著者らは通常の few-shot learning（3-shot, 5-shot）の効果を検証している。結果は一貫せず、モデル依存であった。
- Rhyme Word Generation では、GPT-3.5-turbo は2〜3ポイント改善した一方、Llama・Qwen・gemma 系はわずかな改善か、むしろ低下した。
- G2P Conversion では、Claude 3.5 Sonnet が低頻度語で 35.5% → 57.2% と大きく改善した一方、gemma-2-27b はほぼ変化しなかった。
- Syllable Counting では、Claude 3.5 Haiku が 21.1% → 57.4% と改善した一方、Mistral-7B や Ministral-8B はほとんど改善しなかった。
この「few-shot は効いたり効かなかったりする」という観察が、より頑健な手法である P-CoT の動機となっている。
P-CoT プロンプトの設計
P-CoT プロンプトは、対話の数に応じて P-CoT1（教師と生徒のやりとり1例）、P-CoT3（3例）、P-CoT5（5例）の3種類が用意されている。few-shot learning と同じ例を使ってプロンプトを構成しており、データではなく手法自体が性能向上に寄与していることを確認できるようにしている。
プロンプトの一般的な構造は以下の通りである。
- 役割の割り当て: モデルとユーザに教師・生徒のペルソナを割り当て、教室のような参加型の文脈を作る。
- 概念の定義: 誤解（misconception）を防ぐため、教師役がタスクの中心概念を最初に定義する（第一の足場かけ）。
- 誘導付きの発見: 答えを直接与えるのではなく、具体的な問題を解かせながら理解へ導く。
- タスクの分解: 問題をサブタスクに分解する（例：音節数を数える前に、まず各単語の母音を特定させる）。
- 足場の除去: 最後の依頼ではサブタスクへの分解を行わず、学んだことを独力で適用させる。足場かけは一時的であるべき、という原則を反映している。
興味深い点として、教師・生徒の役割は交代可能であり（Collins et al., 1991 の reciprocal teaching に基づく）、タスクごとに最適な役割が異なったと報告されている。具体的には、Syllable Counting と Rhyme Word Generation ではモデルが教師役、G2P Conversion ではモデルが生徒役のときに最も性能が高かった。
例として、Syllable Counting の P-CoT1 プロンプトの流れは以下のようになっている（論文の Table 7 より抜粋・簡略化）。
System: You are an expert in American English phonology and phonetics.
A syllable is a unit of pronunciation having exactly one vowel sound.
Your goal is to assist in counting the total number of syllables in a
given sentence using discovery learning.
User: I'm ready to learn about syllables and how to count them in a sentence.
Assistant: Great! Let's start by understanding what a syllable is.
Remember, a syllable has one vowel sound. Now let's try an example together.
User: Sentence: 'Grace has resigned herself to simply completing the
upbringing of her teenage daughter.' How many syllables do you think it has?
Assistant: Let's break it down together. Identify the vowel sounds in each word.
User: Grace (1), has (1), resigned (2) ... teenage (2), daughter (2)
Assistant: Exactly! Now, let's sum them all up.
User: 22
Assistant: That's correct! There are 22 syllables in that sentence.
User: Now it's your turn! Count the TOTAL number of syllables in the given
word (in Target Sentence): '{text}'. Do not randomly guess the number;
you must identify vowel sounds and add them up. Provide only the total count.
日本語訳は以下。
System: あなたはアメリカ英語の音韻論と音声学の専門家です。
音節とは、ちょうど1つの母音を持つ発音の単位です。
あなたの目標は、発見学習を用いて、与えられた文の音節の総数を
数えるのを支援することです。
User: 音節について、そして文中の音節の数え方について学ぶ準備ができました。
Assistant: いいですね！まず音節とは何かを理解するところから始めましょう。
音節には母音が1つある、ということを覚えておいてください。では例を一緒にやってみましょう。
User: 文: 「Grace has resigned herself to simply completing the upbringing
of her teenage daughter.」音節はいくつあると思いますか？
Assistant: 一緒に分解してみましょう。各単語の母音を特定してください。
User: Grace (1), has (1), resigned (2) ... teenage (2), daughter (2)
Assistant: その通り！では全部足し合わせましょう。
User: 22
Assistant: 正解です！その文には22個の音節があります。
User: では今度はあなたの番です！対象文 '{text}' の音節の総数を数えてください。
数を適当に生成してはいけません。母音を特定して足し合わせる必要があります。
総数のみを回答してください。
「生徒役が母音の内訳を列挙し、教師役が確認して合算を促す」という対話がそのまま埋め込まれているのが特徴的である。few-shot が「入力と正解のペア」を並べるのに対し、P-CoT は「解き方を発見していく過程」を対話として見せている、と整理できる。
P-CoT の主な結果
Rhyme Word Generation
論文の Table 3 より転記（一般語/稀少語の Success Rate）。
| Model | Baseline | 3-Shot | 5-Shot | P-CoT1 | P-CoT3 | P-CoT5 |
|---|---|---|---|---|---|---|
| Llama-3.3-70B-Instruct | 66.3/34.4 | 65.3/38.4 | 64.7/36.9 | 77.2/47.1 | 76.5/46.4 | 76.4/47.5 |
| Llama-3.1-8B-Instruct | 41.7/17.5 | 41.3/21.6 | 39.7/27.1 | 54.7/30.2 | 55.5/33.3 | 62.9/37.1 |
| Mistral-7B-Instruct-v0.2 | 26.8/12.0 | 28.5/9.3 | 27.9/9.3 | 31.9/15.2 | 71.6/30.2 | 78.8/36.2 |
| Ministral-8B-Instruct-2410 | 16.2/8.7 | 26.6/6.9 | 28.6/8.9 | 34.4/20.8 | 50.2/22.7 | 63.9/31.9 |
| Qwen2.5-72B-Instruct | 51.8/26.7 | 54.8/25.8 | 53.6/22.4 | 66.6/35.8 | 68.1/36.2 | 69.9/35.4 |
| Qwen2.5-7B-Instruct | 23.7/9.5 | 21.2/7.3 | 22.1/6.7 | 43.5/15.6 | 45.8/29.2 | 48.5/30.2 |
| gemma-2-9b-it | 55.6/40.5 | 57.1/38.7 | 57.6/39.3 | 73.0/52.5 | 71.8/47.7 | 71.2/62.3 |
| gemma-2-27b-it | 62.4/39.6 | 64.5/34.9 | 63.4/34.7 | 78.4/52.7 | 77.3/51.3 | 77.7/51.2 |
| gpt-3.5-turbo | 70.7/47.3 | 72.9/45.1 | 73.1/45.5 | 79.2/61.9 | 80.5/59.2 | 81.3/51.2 |
| gpt-4o | 73.0/50.7 | 73.8/44.9 | 74.7/49.5 | - | 86.0/60.0 | 84.3/57.5 |
| Claude 3.5 Sonnet | 76.4/38.2 | 76.9/36.7 | 77.3/37.1 | 82.5/50.8 | 83.1/53.3 | 83.2/51.2 |
| Claude 3.5 Haiku | 68.5/41.5 | 70.2/41.1 | 70.5/41.5 | 80.2/34.8 | 81.7/58.7 | 82.4/58.8 |
| Human Baseline | 86.4/60.4 |
Mistral-7B は一般語でベースライン 26.8 から P-CoT5 で 78.8 まで、52ポイント改善している。論文タイトルにもある「最大52%の改善」はここに対応する。また、稀少語では人間ベースライン（60.4）を超えるモデルも現れており（gemma-2-9b の P-CoT5: 62.3、gpt-3.5-turbo の P-CoT1: 61.9）、gpt-4o の一般語（P-CoT3: 86.0）も人間（86.4）にほぼ並んでいる。
分析（Figure 2）では、Success Rate の閾値を変えたときの改善量が few-shot と P-CoT で比較されている。few-shot は高い閾値（0.8など）でベースラインを下回ることがあるのに対し、P-CoT は閾値 1.0 でも一貫して正の改善を維持しており、頑健さが強調されている。
G2P Conversion
論文の Table 4 より転記（低頻度語/高頻度語の Exact Match）。
| Model | Baseline | 3-Shot | 5-Shot | P-CoT1 | P-CoT3 | P-CoT5 |
|---|---|---|---|---|---|---|
| Llama-3.3-70B-Instruct | 27.0/40.5 | 29.9/42.9 | 29.6/43.8 | 32.2/45.6 | 32.8/48.8 | 33.2/49.7 |
| Llama-3.1-8B-Instruct | 17.2/24.1 | 21.3/31.5 | 21.4/31.9 | 21.8/31.9 | 22.4/29.1 | 22.0/29.8 |
| Mistral-7B-Instruct-v0.2 | 9.5/15.0 | 13.5/19.2 | 13.1/19.3 | 14.3/22.2 | 16.0/21.9 | 15.6/22.4 |
| Ministral-8B-Instruct-2410 | 19.9/31.4 | 20.3/30.8 | 20.6/32.1 | 22.3/32.5 | 23.7/35.3 | 23.1/34.6 |
| Qwen2.5-72B-Instruct | 25.3/38.0 | 30.0/42.1 | 28.7/43.2 | 28.2/40.2 | 30.1/43.4 | 28.8/41.4 |
| Qwen2.5-7B-Instruct | 12.5/18.6 | 13.3/19.9 | 13.6/22.3 | 10.0/17.4 | 10.8/17.9 | 10.2/16.6 |
| gemma-2-9b-it | 24.1/36.2 | 25.9/40.0 | 26.4/39.8 | 27.7/40.5 | 28.6/44.2 | 27.4/42.3 |
| gemma-2-27b-it | 29.6/43.8 | 30.4/46.9 | 31.1/46.6 | 31.1/46.7 | 32.1/48.7 | 31.4/47.9 |
| gpt-3.5-turbo | 28.9/43.2 | 42.6/60.3 | 38.7/56.8 | 45.4/61.9 | 50.1/68.3 | 49.3/67.5 |
| gpt-4o | 32.0/49.8 | 46.9/69.5 | 44.1/57.1 | 49.7/69.2 | 51.7/69.8 | 52.1/69.6 |
| Claude 3.5 Sonnet | 35.5/51.6 | 57.2/79.3 | 57.0/79.8 | 59.9/80.4 | 61.0/81.3 | 61.6/82.2 |
| Claude 3.5 Haiku | 33.5/49.3 | 55.9/76.4 | 54.4/74.5 | 54.0/74.5 | 56.9/75.1 | 56.5/75.4 |
G2P では特にクローズドモデルの改善が大きく、Claude 3.5 Sonnet は低頻度語でベースラインから約26ポイント、高頻度語で約30ポイント改善している。ただし、Qwen2.5-7B のように P-CoT がベースラインを下回るケースもあり、「すべてのモデル・タスクで一貫して改善」という本文の主張に対しては、細かく見ると例外もあるように思われる。
分析では、単語の複雑さスコア S = 0.4L + 0.3V + 0.3C（L: 単語長、V: 母音数、C: 子音数）を定義し、複雑さ別の精度が比較されている（Figure 3）。複雑さが上がるとどの手法でも精度は下がるが、P-CoT は複雑な単語ほど他手法との差が開く。また Mann-Whitney U 検定により、P-CoT のベースラインに対する改善は高頻度語（p = 5.72×10⁻⁶）・低頻度語（p = 6.44×10⁻¹²）ともに有意、few-shot に対する改善は高頻度語では有意（p = 1.84×10⁻²）だが低頻度語では有意でない（p = 2.37×10⁻¹）ことが示されている。
Syllable Counting
論文の Table 5 より転記（Exact Match）。
| Model | Baseline | 3-Shot | 5-Shot | P-CoT1 | P-CoT3 | P-CoT5 |
|---|---|---|---|---|---|---|
| Llama-3.3-70B-Instruct | 18.6 | 13.5 | 11.6 | 41.6 | 28.7 | 28.1 |
| Llama-3.1-8B-Instruct | 13.0 | 14.2 | 13.3 | 41.3 | 37.4 | 39.6 |
| Mistral-7B-Instruct-v0.2 | 2.9 | 3.7 | 4.4 | 13.0 | 26.5 | 14.9 |
| Ministral-8B-Instruct-2410 | 15.6 | 3.9 | 5.8 | 10.8 | 26.5 | 14.9 |
| Qwen2.5-72B-Instruct | 12.9 | 14.6 | 15.0 | 14.8 | 15.6 | 10.7 |
| Qwen2.5-7B-Instruct | 1.0 | 2.1 | 4.8 | 2.5 | 10.3 | 4.3 |
| gemma-2-9b-it | 7.3 | 9.3 | 8.7 | 19.4 | 8.7 | 12.6 |
| gemma-2-27b-it | 13.6 | 23.4 | 23.5 | 17.1 | 20.3 | 20.6 |
| gpt-3.5-turbo | 16.0 | 19.1 | 19.1 | 48.8 | 46.5 | 42.8 |
| gpt-4o | 20.8 | 20.9 | 19.5 | 20.4 | 22.2 | 19.8 |
| Claude 3.5 Sonnet | 20.2 | 24.8 | 32.9 | 23.4 | 28.8 | 32.6 |
| Claude 3.5 Haiku | 21.1 | 20.7 | 26.9 | 48.2 | 57.4 | 54.5 |
GPT-3.5-turbo（16.0 → 48.8）や Claude 3.5 Haiku（21.1 → 57.4）のように劇的に改善するモデルがある一方、gpt-4o（20.8 → 22.2）や Qwen2.5-72B のようにほとんど変化しない、あるいは設定によっては下がるモデルもあり、3タスクの中では改善のばらつきが最も大きい印象を受ける。
エラー分析（Figure 4）では、音節数の誤差の分布が比較されている。few-shot ではベースラインと分布がほとんど変わらないのに対し、P-CoT では誤差4以上の大外れの割合が 32.67% から 24.33%（P-CoT5）まで減少しており、単に正解率が上がっただけでなく、音節構造の解釈自体が改善していることが示唆されている。
P-CoT1/3/5 の違いについて
Limitations の節で著者ら自身が述べているように、対話例の数（1, 3, 5）と性能の間に一貫した線形関係はない。例えば Syllable Counting では P-CoT1 が最良のモデルが多い一方、Rhyme Word Generation の Mistral-7B では P-CoT1 と P-CoT3 の間に約40ポイントの差がある。例を増やせばよいわけではなく、例の質やモデルの容量、タスクの複雑さとの相互作用があると考察されている。
音韻検索ベンチマークとの関係
筆者が構築した音韻検索ベンチマーク（soramimi-phonetic-search）は、替え歌歌詞から取得された元歌詞と置換後表現の音韻ペアを正解として、候補語集合から正解語を検索・ランキングするタスクである。
本論文はベンチマーク提案ではなく手法提案であるため、これまで紹介した論文とはやや位置づけが異なるが、「プロンプトの工夫によって音韻タスクの性能はどこまで向上するか」という問いは、以前の記事で検証した内容と関心が近い。
P-CoTは音韻理解に特化した考え方の教示と推論を促す手法と抽象的には捉えることができ、それによって精度があがったことは、上記の記事の結果である「step-by-stepなプロンプトと推論モデルを用いると音韻検索の精度が向上した」とも整合する。
一方で、P-CoT論文では、そうした教示と推論の効果は モデルに依存することも示唆しており、音韻検索でも類似のモデル依存性が見られる可能性はある。
その他感想
本論文が対象としたモデルは2026年の水準から考えると、低インテリジェンスなモデルであった（gpt-3.5-turboなど）。論文の公開日（2025年7月）からするともう少し高度なモデルでの検証結果にも興味があったが、提出日が相当前だったとかなのかもしれない。
シンプルな教示＋CoTとPedagogicallyのCoTの公開の違いは論文中では検証されていないように見える。おそらくだが、少なくとも最近のモデルの場合は、教示＋CoTという本質さえ保たれていれば、Pedagogicalである必要は必ずしもないのではないか、と思う。
おわりに
自作の音韻検索ベンチマークの研究的な位置づけを整理するために、教育理論に基づくプロンプティングでLLMの音韻推論を向上させる P-CoT の論文を読んでみた。
教示と推論によって音韻理解タスクが向上するという結果として、独自に検証した結果とも整合する内容であり、興味深かった。