Abstract

訳文

ディープニューラルネットワーク (DNNs) は, 困難な学習タスクで優れたパフォーマンスを達成した強力なモデルです. しかし DNNs は, ラベル付きの大きなトレーニングセットが利用可能な場合は常に機能しますが, シーケンスにシーケンスをマッピングするために使用することはできません. この論文では, シーケンス構造に関する最小限の仮定を行う, シーケンス学習への一般的なエンドツーエンドのアプローチを示します. この方法では, 多層化された Long Short-Term Memory (LSTM) を使用して入力シーケンスを固定次元のベクターにマッピングし, 次に別のディープ LSTM を使用してベクターからターゲットシーケンスをデコードします. 私たちの主な結果は, WMT'14 データセットの英語からフランス語への翻訳タスクで, LSTM によって生成された翻訳は, テストセット全体で 34.8 の BLEU スコアを達成します. ここで, LSTM の BLEU スコアは語彙外の単語に対してペナルティが科されます. さらに, LSTM は長い文章でも問題はありませんでした. 比較のために, フレーズベースの SMT システムは, 同じデータセットで 33.3 の BLEU スコアを達成します. LSTM を使用して, 前述の SMT システムによって生成された 1000 の仮説を再ランク付けすると, その BLEU スコアは 36.5 に増加し, このタスクの以前の最良の結果に近くなります. LSTM はまた, 単語の順序に敏感であり, 能動的および受動的な音声に対して比較的不変である賢明なフレーズおよび文の表現を学習しました. 最後に, ソース文とターゲット文の間に短期間の依存関係が多く発生し, 最適化の問題が容易になるため, すべてのソース文 (ただしターゲット文ではしない) の単語の順序を逆にすることで, LSTM のパフォーマンスが著しく向上することがわかりました.

原文

Deep Neural Networks (DNNs) are powerful models that have achieved excellent performance on difficult learning tasks. Although DNNs work well whenever large labeled training sets are available, they cannot be used to map sequences to sequences. In this paper, we present a general end-to-end approach to sequence learning that makes minimal assumptions on the sequence structure. Our method uses a multilayered Long Short-Term Memory (LSTM) to map the input sequence to a vector of a fixed dimensionality, and then another deep LSTM to decode the target sequence from the vector. Our main result is that on an English to French translation task from the WMT'14 dataset, the translations produced by the LSTM achieve a BLEU score of 34.8 on the entire test set, where the LSTM's BLEU score was penalized on out-of-vocabulary words. Additionally, the LSTM did not have difficulty on long sentences. For comparison, a phrase-based SMT system achieves a BLEU score of 33.3 on the same dataset. When we used the LSTM to rerank the 1000 hypotheses produced by the aforementioned SMT system, its BLEU score increases to 36.5, which is close to the previous best result on this task. The LSTM also learned sensible phrase and sentence representations that are sensitive to word order and are relatively invariant to the active and the passive voice. Finally, we found that reversing the order of the words in all source sentences (but not target sentences) improved the LSTM's performance markedly, because doing so introduced many short term dependencies between the source and the target sentence which made the optimization problem easier.