ULER: A Model-Agnostic Method to Control Generated Length for Large Language Models

今回は、大規模言語モデル（LLM）の生成するテキストの長さを精密に制御する新しい手法「RULER」に関する最新の研究、「ULER: A Model-Agnostic Method to Control Generated Length for Large Language Models」を紹介します。この論文は、AIが自然な方法で指示に従う能力を強化するために設計された、モデル非依存のアプローチです。RULERは、Meta Length Tokens（MLT）という独自の技術を用いて、指定された長さのテキストを生成する能力を高めることを目的としています。

論文情報

タイトル: ULER: A Model-Agnostic Method to Control Generated Length for Large Language Models
リンク: https://github.com/Geaming2002/Ruler
発表日: 2024年9月27日
著者: Jiaming Li, Lei Zhang, Yunshui Li, Ziqiang Liu, Yuelin Bai, Run Luo, Longze Chen, Min Yang
DOI: [DOIは論文に記載されていません]

背景と目的

大規模言語モデル（LLM）は、その応答生成能力において目覚ましい進化を遂げ、さまざまな自然言語タスクで高い精度を達成しています。しかし、指定された長さで応答を生成する能力は依然として課題です。例えば、ユーザーが「50語以内で説明して」といった指示を与える場合、モデルがその長さを超過したり、逆に不足したりすることが頻繁に起こります。これは、LLMが数値的な制約を正確に把握することが難しく、トークン化の方式や学習プロセスが主な原因です。

この問題に対処するため、研究者たちは「Target Length Generation Task (TLG)」という新しいタスクを提案しました。このタスクは、LLMが特定の長さに応じた応答を生成できるかを評価するもので、応答の正確さを評価するための指標としてPrecise Match (PM)とFlexible Match (FM)という2つのメトリクスが導入されています。また、モデルが長さ制御を行う新しい手法として、Meta Length Tokens（MLT）を用いたRULERを提案し、従来の手法を超えるパフォーマンスを示しています。

研究の焦点

ターゲット長生成タスク (TLG) と評価メトリクス

TLGは、指定された長さに基づいてモデルが応答を生成できるかを評価するタスクです。このタスクでは、PM（Precise Match）とFM（Flexible Match）という2つのメトリクスを使用して、応答が指定された長さにどれだけ正確に一致しているかを測定します。

Precise Match (PM): 指定された長さに対して±10語以内の誤差を許容し、その範囲内で応答が生成された場合に成功とみなします。例えば、30語の応答を要求された場合、20～40語の範囲内であればPMが成功したとみなされます。
Flexible Match (FM): より広い範囲の誤差を許容し、応答長が±20語以内であれば成功と見なされます。この指標は、PMよりも緩やかな基準で評価され、モデルが生成する応答が大まかにターゲット長に沿っているかどうかを測定します。

Meta Length Tokens (MLT) を用いた長さ制御

RULERは、Meta Length Tokens（MLT）という新しいコンセプトを使用して、モデルが生成するテキストの長さを制御するアプローチです。MLTは、モデルに対して生成するテキストの長さを指定する役割を果たし、応答の冒頭に挿入されることで、モデルが応答長を正確に認識できるようにします。これにより、ユーザーの指示通りの長さでテキストを生成することが可能になります。

RULERは、ターゲット長が指定されている場合はその長さに対応するMLTを生成し、指定がない場合は自動的にMLTを生成して応答を生成します。このプロセスにより、従来のプロンプトベースのアプローチでは実現できなかった精密な長さ制御が可能となりました。

実験の概要と結果

データセットとモデル構成

TLGの評価には、OpenHermes2.5やArena-Hard-Autoなどのデータセットを使用しました。これらのデータセットには、ランダムにサンプリングされた2,000件のデータが含まれており、それぞれに異なるターゲット長が割り当てられました。このデータを使用して、RULERを適用したモデルと適用しないモデルのパフォーマンスを比較する実験が行われました。

対象となったモデルには、LLMとしての性能が高く評価されているLlama-3、GPT-4o、Claude-3.5などが含まれています。これらのモデルは、チャットやインストラクト形式で評価され、それぞれ異なるパラメータ設定やトークン化手法を持ちます。

実験結果

各モデルのパフォーマンス比較

RULERを適用したすべてのモデルで、PMとFMのスコアが顕著に向上しました。特にLlama-3 8Bモデルでは、RULER適用後のPMスコアが42.68から77.27に、FMスコアが40.69から80.71にまで向上しました。その他のモデルでも平均して27.97ポイント（PM）、29.57ポイント（FM）の改善が見られ、RULERの効果が一貫して確認されました。

長文生成における課題

一方、長文生成（700語以上）のタスクでは、RULERの適用により精度が向上する一方で、長文を生成する際にトークン数の制御が困難になるケースが見られました。これは、長文の生成にはより多くの文脈やトレーニングデータが必要であり、トレーニングセットの不足が影響していると考えられます。特に、700語以上の応答に対しては、モデルがトレーニングされていないため、誤差が大きくなる傾向が見られました。

実験結果の詳細な解釈

短文生成タスク (Level 0) における効果

短文生成のタスクでは、RULERが特に優れたパフォーマンスを発揮しました。PMスコアが大幅に向上し、応答長が厳密に制御されていることが確認されました。これは、MLTが短文生成において効率的に機能し、指定された長さに合わせた応答を生成するためのガイドとして機能していることを示しています。

中間長応答 (Level 1) における改善

中間長の応答（200語程度）の生成においても、RULERは高いパフォーマンスを発揮しました。特に、PMスコアが全体で平均27.97ポイント向上しており、MLTを用いた長さ制御が中間的な応答にも効果的であることが確認されました。この結果は、モデルが比較的安定した長さで応答を生成できるようになることを示しています。

長文生成タスクにおける限界

一方、長文生成においては、RULERが十分に機能しないケースが見られました。これは、モデルが長文のトレーニングを十分に受けていないことが原因と考えられます。今後の研究では、長文生成に対応したトレーニングデータの拡充や、より高度なトークン化戦略の導入が求められます。

関連研究との比較

RULERは、従来の長さ制御手法に比べて大きな進展を示しています。例えば、従来のプロンプトベースのアプローチでは、生成するテキストの長さを正確に制御するのが難しく、結果として不均一な長さの応答が生成されることが多々ありました。RULERはMLTを導入することで、モデルに対して明示的な長さ制御を課すことが可能となり、従来のアプローチを凌駕しています。

また、他の長さ制御手法と比較しても、RULERはモデルに依存せず、どのLLMにも適用可能な汎用性の高い手法である点が優れています。GPT-4oやClaude-3.5といった他のモデルと比較しても、RULERを適用したモデルは全体的な性能向上を示しており、特に短文や中間長の応答生成において優位性を発揮しています。

結論と将来の展望

RULERは、LLMが生成する応答の長さを精密に制御するための画期的な手法であり、ユーザーの指示に従って正確な長さの応答を生成する能力を向上させます。これにより、さまざまな自然言語処理タスクにおいて、応答の一貫性や品質が向上し、LLMの適用範囲がさらに拡大することが期待されます。

今後の展望としては、より多様なデータセットやタスクに対してRULERを適用し、長文生成における性能向上や新たな応用分野の開拓が求められます。また、MLTのさらなる改良や、トレーニングデータの拡充により、RULERの汎用性と性能がさらに高まることでしょう。今後の研究に注目が集まります。

この記事が、皆さんの研究や実務に役立つことを願っています。質問やフィードバックがあれば、ぜひコメント欄にお寄せください。