[論文メモ] Reinforcement Learning Teachers of Test Time Scaling

はじめに

いつのかわからない論文読んだメモをここに残します。

内容

Blog：https://sakana.ai/rlt/

論文：https://www.arxiv.org/abs/2506.08388

1. 教師モデルがQuestion・Question & Answerをもとに学習される
2. 教師モデルが回答データと説明データを生成
3. 2のデータを生徒モデルに食わせて学習（Learning To Solve）
4. 3のフィードバック内容をもとに教えるための情報を生成（回答データと説明データをよりよりものにするというRLを実施）
5. 2~4を繰り返して、最終的に回答プロセスを学習した生徒モデルが完成

インサイト

• 解くことではなく、教えることに特化：教師モデル

• 解をただ出すだけではなく、どのようにして解を導くか：生徒モデル

• 教師モデルと生徒モデルに共通しているのが、解を出すプロセスを学習変数としているところ。
  → Learning To SolveとLearning To Teachを実現するためには、プロセスを理解していないといけないということ

• 途中式を含めた生徒の成績があがるために、わかりやすい説明ができるように心がける教師みたいなRL手法

• 人間が設計する報酬関数：生徒の成績、フォーマットの強制、KLダイバージェンス（日本語崩壊を防ぐ）、生徒の汎化性能の評価

• AIがブラックボックス的に設計する報酬関数：生徒モデルに特化した教え方のコツ（Howを自律的に学ぶ）

• 人間が設計する報酬関数をがちがちにしすぎると、その報酬が得られるように最適化（ハック）されるので、いい説明とはどのような内容が含まれるべきかというのは、教師モデルに丸投げでもいいのかもしれない

• 人間が設計する報酬関数の観点としては、環境と制約条件か

外部リンク

やりとり：

論文：

Github：

実装モデル：