機械学習
MachineLearning
DeepLearning
強化学習
深層学習

SalesForceが強化学習モデルを自然言語のサマリー作成に応用研究

More than 1 year has passed since last update.

要注目な強化学習の応用事例

Team AI研究会では継続的に強化学習のビジネスユースケースを議論していますが、
その中の一つが自然言語処理分野への応用です。
特に日本語の自然言語処理は限られた辞書データ等の課題がありますが、
強化学習エージェントを上手に利用することでなんとかブレークスルーが起きて欲しいと思います。

そんな中、下記の非常に興味深い論文を見つけました。

A Deep Reinforced Model for Abstractive Summarization

抽象的な要約のための注意深いRNNベースのエンコーダ/デコーダモデルは、短い入力および出力シーケンスに対して良好な性能を達成している。

しかし、長い文書や要約の場合、これらのモデルにはしばしば反復的でインコヒーレントなフレーズが含まれます。我々は、イントラアテンションと新しいトレーニング方法を備えたニューラルネットワークモデルを紹介する。

この方法は、標準監督された単語予測と強化学習(RL)とを組み合わせる。前者のみで訓練されたモデルは、しばしば「ばく露バイアス」を示し、訓練中に各ステップで地上の真理が提供されると仮定します。

しかし、標準単語予測がRLの大域的配列予測トレーニングと組み合わされると、得られる要約がより読みやすくなる。このモデルは、CNN / Daily MailとNew York Timesのデータセットで評価します。

私たちのモデルは、CNN / Daily Mailデータセットで41.16 ROUGE-1スコアを取得しています。これは、従来の最先端モデルよりも5.7ポイントの改善点です。
また、ニューヨークタイムズコーパスの最初の抽象モデルとしても機能します。人間の評価はまた、我々のモデルがより高い品質の要約を生成することを示している。

出典:
https://arxiv.org/abs/1705.04304

スクリーンショット 2017-09-28 0.12.30.png

スクリーンショット 2017-09-28 0.13.01.png

スクリーンショット 2017-09-28 0.13.11.png

スクリーンショット 2017-09-28 0.13.22.png