Word2Vec+LSTMでSNLIデータセットのクラス分類

与えられた２つの文章が前提と仮説の関係になっているかクラス分類するデータセットとしてSNLIがあります．
この問題を解くために学習済みのWord2Vec¹とLSTMを組み合わせたモデルをKerasで実装してみたという内容です．

SNLI²データセットの詳細については記事「SNLIデータセットの読み込み方」³に記載しています．
参考になれば幸いです．

前準備

SNLIデータセットのダウンロード

The Stanford Natural Language Inference (SNLI) Corpusよりダウンロードできます．

wget https://nlp.stanford.edu/projects/snli/snli_1.0.zip
unzip snli_1.0.zip

学習済みWord2Vecの重みのダウンロード

Google Newsによって学習済みのWord2Vecの重みは下記サイト¹のリンク"GoogleNews-vectors-negative300.bin.gz"からダウンロードできます．

実装

学習済みWord2VecとLSTMを組み合わせたモデルをSNLIデータセットで学習を行うコード⁴です．記事⁵が参考になります．

実験結果

• Train: 82.01%
• Valid: 80.12%
• epoch数: 18

となり，既存の300D LSTM⁶と同程度の性能が出せていることが確認できます．
ここから更に性能を上げるためにDecomposable Attention^{7 8}やESIM^{9 10}が使えたりします．

References

---

1. Milkolov et al., Efficient Estimation of Word Representations in Vector Space, 2013. ↩

2. Bowman et al., A large annotated corpus for learning natural language inference. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2015.  ↩

3. namakemono, SNLIデータセットの読み込み方, 2017. ↩

4. namakemono, Trains a LSTM with Word2Vec on the SNLI Dataset., 2017. ↩

5. lystdo, LSTM with word2vec embeddings, 2017. ↩

6. Bowman et al., The Stanford Natural Language Inference (SNLI) Corpus. ↩

7. Parikh, A Decomposable Attention for Natural Language Inference, 2016.(Decomposable Attentionの原論文) ↩

8. namakemono, Decomposable Attentionアルゴリズムの解説と実装, 2017. ↩

9. Chen, Enhanced LSTM for Natural Language Inference, 2017. (ESIMの原論文) ↩

10. namakemono, ESIMアルゴリズムの解説と実装, 2017. ↩