この記事は、自社ブログの LYR Performance Note #018 に掲載したものの転載です。
唯一の正解を1つ真似させるより、候補をN個出させて一番良いのを選ぶ——ただし万能ではない
正解は1つで、それは尊い——AI学習のこの信仰にヒビが入った。候補をN個出させて品質推定器に選ばせるほうが、教師の一発目を超えるお手本になる（Liveで＋2、続くCPOと合わせて 90→96）。
だが、確かなのは裏返しのほうだった。選ぶ物差しが的外れなら、綺麗な1本にあっさり負ける。方向のズレた正解への近さで選んだとき、82% が 73〜77% に落ちた。
量を増やしても同じだ。温度を上げて8,553件に膨らませたデータは、綺麗な3,301件に負けた。問うべきは「Nをいくつにするか」ではなく「この物差しは、自分の求める良さを向いているか」だった。
AIに何かを教えるとき、いちばん素直なやり方はこうだ——正しいお手本を1つ用意して、それを真似させる。翻訳なら「この文の正解は、この訳です」という対を大量に見せる。機械学習の教科書どおりで、長らくこれでやってきた。
この背後には、静かな信仰がある。「正解（gold）は1つで、それは尊い」という思い込みだ。お手本の質を上げれば、生徒の質も上がる。だから良い正解を1つ、丁寧に用意する——。
ところが、ある実験で、この信仰にヒビが入った。正解を1つ真似させるより、候補をN個出させて"一番良いもの"を選ばせるほうが、良い訳が得られたのだ。そして同じ時期の別の実験は、その選び方が万能ではないこと——物差しを間違えれば、綺麗な1つの手本にあっさり負けること——も、同じくらいはっきりと教えてくれた。この記事は、その両面の話だ。
きっかけ——弱いモードが、どうしても埋まらなかった
LYRの小型モデルには、3つの使いどころ（モード）がある。動画の字幕をリアルタイムに訳すLive、画面全体を訳すPage、漫画を訳すMangaだ。
このうちLiveが、どうしても弱かった（ここで鍛えるのは小型のなかでも中位＝8B の専門家だ）。同じ小型モデルでも、Page や Manga は上位の大型モデルにほぼ肩を並べているのに、Live だけは大型モデルに水をあけられていた。原因を1件ずつ覗くと、失敗の中身が見えてきた——慣用句を直訳する（"isn't like you" を「あなたらしくない」の逆に取る）、主語を取り違える、ありもしない単語を差し込む。
打ち手として最初に考えるのは「Live の正解データをもっと集めて、もっと真似させる」だ。だが、その正解は誰が作る？ 正解データは、上位の大きなモデル（教師）に書かせている（前回の蒸留だ）。教師に一度訳させて、それをお手本にする。ところが、その教師の訳自体が、ときどき慣用句を外していた。お手本が外していれば、生徒も外す。
気づき——教師は「一発目」が最善とは限らない
ここで発想を変えた。教師に一度だけ訳させて、それを唯一の正解として崇めるのをやめる。かわりに——
教師に、同じ文をN通り訳させる。そして、その中から"一番良い訳"を機械的に選び出す。
これが best-of-N（N個の候補から最良の1つを採る）という考え方だ。ポイントは「一番良い訳」をどう決めるかにある。使ったのは品質推定器（QE＝quality estimation）を使った。QEとは、正解を見ずに「この訳、どれくらい良い？」を点数化する仕組みだ。正解と照らし合わせるのではなく、訳そのものの出来を推し量る。N個の候補にQEで点をつけ、最高点を"新しいお手本"に採用する。
そのお手本で、Live を鍛え直した。効いた——ただし、控えめに。best-of-N で作り直したお手本で真似させ直すと、Live の合格率は＋2。その上にCPO（正解を1つ真似るのでなく「良い訳と悪い訳の差」を学ばせる選好最適化。機械翻訳で実証のある手法）を重ねて＋4、合計＋6で 90→96——大型モデルの96に並んだ。register（口調の自然さ）は、特化前の100から98を維持＝大型級のままだ。
念のため区別しておく。この3モデルの横並び（小型・一般／Live 特化／大型）を詰めた本題は、姉妹記事小さな専門家が、現役最強と肩を並べたの担当だ。ここで押さえたいのは、この＋6のうち、best-of-N が動かしたのは＋2の部分だという一点——魔法の一撃ではなく、確かな一歩、ということだ。
大事なのは機構だ。教師の"一発目"は、教師の実力の天井ではない。 N回振らせれば、その中には一発目より良い訳が混じっている。それをQEで拾い上げれば、教師自身を超えるお手本が作れる。同じ機構は、そもそも教師データをAIに作らせる工程の心臓部でもある。正解は1つでなく、N個の中から"育てる"ものだった。
図1：gold信仰と、best-of-N QE。1つの正解を真似る（左）に対し、N個振らせて品質推定器で最良を選ぶ（右）。教師の一発目は、教師の実力の天井ではない。ただし選ぶ物差しが的外れなら、綺麗な1本に負ける。
もうひとつの方向——そして、まだ積んでいない"次の一手"
この選別の発想が効くのは、Live だけではない……はずだ。ただしここは、正直に線を引かなければならない。
LYRが「日本の漫画やアニメを英語で読む」ために磨いている日本語→英語（こちらは同じ小型でも、より軽量な4B の機体だ）では、素の合格率が42%前後しかなかった。ここに一連の蒸留学習を通すと、84%まで跳ね上がった——大型モデルや旧世代の強力モデルと同水準だ。
だが、この84%は best-of-N の成果ではない。中身は、教師にいちばん自信のある1本（低温の単一サンプル）を素直に真似させた、プレーンな蒸留だ。best-of-N QE は、その上に積む"次の一手"——設計メモで投資対効果が最も高いと見込んでいるレバー（見込み＋10〜15ポイント）だが、まだ実行していない。この方向の全体像と数字は、姉妹記事教師AIを別のAIに作らせるにゆずる。
つまり、best-of-N について今この場で"実測で言える"のは、先ほどの Live の＋2だけだ。42→84 のような跳ねは、いまはまだ best-of-N の手柄ではない——期待値であって、実績ではない。
ここで、いつもの自戒を一つ。これらはLLMによる判定で、評価件数は限られている（件数を記録していない実験もある）。点推定は「効いた」の強い示唆として読むべきで、小数点以下を握って断定する数字ではない。
落とし穴——"物差し"が的外れなら、綺麗な1つに負ける
ここまでなら、「best-of-N は万能の魔法だ」で終われる。だが正直に書くと、同じ手法で、一度こけている。
別のデータで、best-of-N の"選ぶ物差し"に、公式の字幕（gold）への近さを使った。「本物の字幕にいちばん近い候補を選べば、いちばん良いはずだ」——直感的には正しく聞こえる。ところが結果は、選別なしの素直な1本に負けた。
| お手本の作り方 | 合格率 |
|---|---|
| 教師の最自信の1本（temp低め・選別なし） | 82% |
| 「公式字幕への近さ」で best-of-N 選別 | 73〜77% |
口調の自然さ（register）も、87%から79%へ落ちた。候補を振って選んだのに、選ばないより悪くなったのだ。
なぜか。使った「公式字幕」が、別物だったからだ。その字幕は韓国ドラマの韓国語→日本語の訳で、訳そうとしていたのは英語の原文だった。ソース言語が違ううえ、字幕特有のズレ（画面と台詞の整列ノイズ）も乗っている。この"的外れな正解"への近さで候補を選ぶと、モデルは英語原文への忠実さを捨てて、韓国語由来の内容へ引っ張られていった。物差しが狂っていれば、候補を増やすほど、狂ったほうへ丁寧に最適化してしまう。
同じ轍は、量を増やす方向でも踏んだ。温度を上げた多変種でお手本（SFTの学習データ）を8,553件に水増ししたら、温度ノイズが乗り、単一温度で作った綺麗な3,301件に負けた。これは候補数 N を増やした話ではなく、学習データを何件に膨らませたかの話だ——多ければいい、ではなかった。
教訓は、best-of-N の否定ではない。物差し（QE／選別アンカー）の妥当性がすべて、ということだ。 Live で効いたのは、QEが「良い訳そのもの」を素直に推し量る、方向の合った物差しだったから。字幕でこけたのは、「別方向の正解への近さ」という、方向のズレた物差しを使ったからだ。best-of-N は、選ぶ基準の質を、そのまま増幅する装置だ——良い基準なら教師を超え、悪い基準なら選ばないより悪くする。
これは、以前書いたその「精度」、あなたが選んだ定義ですよねと同じ話でもある。QEで「良い」を選ぶとは、「良い」の定義を1つ選ぶことだ。その定義が的を射ていなければ、どれだけ丁寧に候補を選ぼうと、的外れなものが選ばれる。
経営の言葉に翻訳する
正解データを1つ、丁寧に作る——これは分かりやすい投資だ。だが、その1つがどれだけ良くても、それは教師の一発目の天井に縛られている。
best-of-N × QE は、その天井を、追加のモデルもデータ購入もなしに押し上げる仕掛けだ。同じ教師にN回振らせ、良いものを選ぶだけ。Live では、これが確かに＋2を生んだ。そして設計メモは、これを最も投資対効果の高いレバー（見込み＋10〜15ポイント）と位置づけている——ただし、大きく積む使い方は、まだ実行前の"次の一手"だ。
ただし、この装置の性能は、「良さ」をどう測るかで決まる。物差しが的確なら教師を超え、的外れなら綺麗な1本にすら負ける。だから、best-of-N を導入する前に問うべきは「候補を何個出すか」ではない。「選ぶ物差しは、本当に自分の求める良さを向いているか」だ。
「正解は1つで尊い」という信仰を壊すのは、良い。だが、それを「候補さえ振れば勝てる」という別の信仰に置き換えてはいけない。壊した信仰の跡地に据えるべきは、"良さ"の定義を疑い続ける規律だ。
教訓
-
唯一の正解を崇めない。 教師の一発目は、教師の実力の天井ではない。N個振らせて品質推定器（QE）で選べば、教師自身を超えるお手本が作れる。Live ではこの選別が確かに＋2を生み（続く CPO と合わせて 90→96）、大きく積むレバーとしては最有望と見込んでいる（未実行）。
-
best-of-N は万能ではない——選ぶ物差しがすべて。 的外れな正解（別方向・整列ノイズ）への近さで選ぶと、選別なしの綺麗な1本に負けた（82% → 73〜77%）。候補を増やす前に、選ぶ基準の妥当性を検証せよ。悪い物差しは、選ばないより悪い。
-
量より方向——「良い」を選ぶとは、「良い」の定義を選ぶこと。 温度を上げて8,553件に膨らませても、綺麗な3,301件に負けた。多く盛ることも多く振ることも、それ自体では価値ではない。導入前の問いは「Nをいくつにするか」でなく「この物差しは、自分の求める良さを向いているか」だ。
付録：生データ
すべてLLM判定（サンプル人手照合）。評価件数は限られ、点推定は「確定」でなく強い示唆として読む。
| 実験 | 結果 | 条件・留保 |
|---|---|---|
| Live特化（best-of-N SFT + Live-CPO） | Live 90 → 96（SFT-aug ＋2、Live-CPO ＋4） | overall／register％・同一評価セット。大型（現役最強）は Live 96 |
| そのトレードオフ | 代償に Page 93→89／Manga 92→88（−4） | Live特化学習が一般バッチからドリフト。混ぜ直しかモード別ルーティングで解消見込み |
| 日本語→英語（別モデル・4B） | 素 約42% → プレーン蒸留SFTで 84% | best-of-N は不使用。天井は hallucination（理解容量律速） |
| best-of-N SFT の評価 | 投資対効果最大と見込む（＋10〜15pt） | 未実行。実測は上記 Live の＋2のみ |
| gold整列トラップ | 選別なし 82% → chrF近さで選別 73〜77%（register 87→79%） | 物差しの参照が別方向（KO→JA）＋整列ノイズ。英語原文への忠実さを喪失 |
| 量の水増し | temp0.7 で 8,553件 ＜ temp0.1 の 3,301件 | 学習データ件数であって候補数Nではない。温度ノイズで悪化 |
| 選好最適化の補足 | 二値選好（KTO）単体は null（84→85%、判定ノイズ内） | 文字列段の選好は理解容量の壁を埋めない。CPOは best-of-N SFT の上に重ねる背骨として採用 |
関連：蒸留とSFT/CPOの基礎は小さなAIを1つの仕事の専門家に育てる。best-of-N を教師データ生成に使う話は教師AIを別のAIに作らせる、Live 特化の全体像は小さな専門家が、現役最強と肩を並べた。
シリーズ「モデル — 小さく、速く、賢く」第8回の記事です。原文と続きは LYR Performance Note #018 / 記事一覧 にあります。