TTT Discoverって何
TTT Discoverは、2026年1月に公開された研究です。強化学習によるLLMの改善をもっと効率的にすることに成功した研究です。特に、数学とかそういう正解のあるタスクに関するファインチューニングにいいそうです。
実行環境
今回は、TTT Discoverを、無料で試してみたいなって思ってます。
環境はGoogle Colabの無料版です。
今回は、モデルを「microsoft/Phi-3-mini-4k-instruct」を選びました。
論文では、もっとデカいのを使ってたんですけど、今回は無料でやりたいので、軽量のものを選んでます。
ソースコード
コードは、開発途中ですけど、Google Colabで公開してます。
現段階でできたところは、モデルの読み込みだけです。
そのうち、TTT Discoverの再現を完成したいなって思ってますけど、いつになるかは未定です。