逆思考問題を解くことによる推論性能の向上「RevThink」

逆思考 とは、問いに対して答えを導くのではなく答えから問いを求めることです。小学校の算数のカリキュラムなどでも思考を鍛える方法としてで注目されいます。

例えば、次のようなものです

通常の問題： Aさんはリンゴを2個、Bさんは3個持っています。あわせていくつのリンゴがあるでしょう？

逆思考の問題： 5個のリンゴがあります。Aさんがリンゴを2つ持っていたらBさんはいくつもっているでしょう？

これをLLMに適応します。
上の例を使って、リンゴの合計が5ではなく6と推論してしまった場合、これを答えとして逆思考の問題を解くとBさんが4個のリンゴを持っていなければいけません。

このような、順方向の推論と逆方向の推論の思考の一貫性や矛盾を扱うことでパフォーマンスの向上が見込めます。

LLMが逆思考を実行できるようなフレームワークがRevThinkです。具体的には教師モデルから順方向・逆方向の推論を収集してデータセットを拡張します。

これによってZero-shotのパフォーマンスと比べて平均 13.53% の向上が見られました。

マルチエージェントLLMトレーニングによる推論性能の改善「MALT」

LLMは通常、人間がその出力を評価して洗練させますが、複数のLLMが協調することで性能の向上が期待できます。

図のように、このモデルはLlama をベースとして、ジェネレーター(Generator) と 検証者(Verifier)、調整者(Refiner) の3つの異種のLLMによるマルチエージェントが共同で働きます。

それぞれの簡単な役割は以下の通りです。

実際に、ベースラインに対して 7~14% 改善が見られました。