「ゼロから作るDeepLearning2 自然言語処理編」読書会用資料を ゼロから作る。現在参考文献確認中。

2018年8月23日（木）午後１時から開催予定の読書会用の資料を、去年のことは一度忘れて、０から作り始める。場所は名古屋市熱田区六番３−４−４１名古屋市工業研究所電子技術総合センター５階コンピュータ研修室
https://connpass.com/event/97648/

今年から参加される方への参考のため。毎日、すこしづつ追記します。
なお、URLによっては学術用のみに公開しており、営利で利用する場合には別途許諾がいる場合があります。それぞれのURLの許諾条件をお読みください。

ゼロから作るDeepLearning2 自然言語処理編
https://www.oreilly.co.jp/books/9784873118369/

サンプルコード
https://github.com/oreilly-japan/deep-learning-from-scratch-2
学習済みの重みファイル（6章、7章）
https://www.oreilly.co.jp/pub/9784873118369/BetterRnnlm.pkl

利用するのはMac os でanaconda(python 3.6)

$python --version 
Python 3.6.0 :: Anaconda 4.3.0 (x86_64)

Windows PCを持ち込まれる方は

Windows(MS)にPython(Anaconda)を導入する（5つの罠）
https://qiita.com/kaizen_nagoya/items/7bfd7ecdc4e8edcbd679

を参照して事前に入れておいていただくか、当日、現地で導入。
USB接続のEthernetを用意。

参考文献

論文には発行年の記載がある。書籍には発行年の記載がない。趣旨不明。発行年、ISBN, 資料URL追記。ページ番号にp.の記載を追記。
誤植記載。ただし、筆頭著者の名前をわざわざ姓名に,を打っているのは誤解を招きやすいため、誤植とした。また、論文名に先頭以外に大文字をつけているものが、小文字になっていたり、大文字のままという処理の一貫性のなさもきになったが、こちらは誤解を与えないため誤植とはしてない。

このQiita資料も誤植を含んでいるかもしれません。コメント等でご指摘くださると幸いです。

python関連

1 Broadcasting
https://docs.scipy.org/doc/numpy-1.13.0/user/basic/broadcasting.html
は、下記に変更になっている。
https://docs.scipy.org/doc/numpy-1.13.0/reference/ufuncs.html#broadcasting
最新版は
https://docs.scipy.org/doc/numpy-1.15.0/reference/ufuncs.html#broadcasting

2.100 numpy exercises
https://github.com/rougier/numpy-100
3. Cupy web page
https://cupy.chainer.org/
4. Cupy install page
http://docs-cupy.chainer.org/en/stable/install.html

ディプラーニングの基本事項

5.斎藤康毅, ゼロから作るDeep Learning ― Pythonで学ぶディープラーニングの理論と実装, オライリー, 2016, ISBN978-4-87311-758-4
https://www.oreilly.co.jp/books/9784873117584/
6. Gupta. Suyog. et al: "Deep learning with limited numerical precision.", Proceedings of the 32nd International Conference on Machine Learning (ICML-15) 2015
http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.1001.5463&rep=rep1&type=pdf
7. Jouppi. Norman P.. et al: "In-datacenter performance analysis of a tensor processing unit."Proceedings of the 44th Annual International Symposium on Computer Architecture, ACM. 2017
https://arxiv.org/abs/1704.04760
8. Ba. Jimmy Lei. Jamie Ryan Kiros, and Geoffrey E. Hinton: "Layer normalization." arXiv preprint arXiv:1607.06450, 2016
https://arxiv.org/abs/1607.06450
9. Srivastava, Nitish. et al: "Dropout: a simple way to prevent neural networks from overfitting."Journal of Machine Learning Research 15, 2014, p.1929-1958
http://www.cs.toronto.edu/%7Ersalakhu/papers/srivastava14a.pdf

ディープラーニングによる自然言語処理

10.Stanford University CS224d: DeepLearning for Natural Language Processing
http:/cs224d.stanford.edu
11. Oxford Deep NLP 2017 course
http://github.com/oxford-cs-deepnlp-2017/lectures
12. Young D. Hazarika, S. Peoria. and E. Cambria: ""Recent trends in deep learning based natural language processing." in arXiv preprint arXiv:1708.02709, 2017
https://arxiv.org/abs/1708.02709
13. 坪井裕太,海野裕也, 鈴木潤:「深層学習による自然言語処理(機械学習プロフェッショナルシリーズ)」講談社, 2017, ISBN 978-4-06-152924-3
https://www.kspub.co.jp/book/detail/1529243.html

ディープラーニング登場以前の自然言語処理

14.Steven Bird. Iwane Klein, Edward Loper:「入門　自然言語処理」, オライリージャパン, 2010,ISBN978-4-87311-470-5
https://www.oreilly.co.jp/books/9784873114705/
15.Jeffrey E.F. Friedl:「詳説　正規表現第3版」オライリージャパン, 2008, ISBN978-4-87311-359-3
https://www.oreilly.co.jp/books/9784873113593/
16.Christopher D. Manning, Hinrich Schutze:「統計的自然言語処理の基礎」共立出版, 2017, ISBN 978-4-320-12421-9
http://www.kyoritsu-pub.co.jp/bookdetail/9784320124219
17.Miller, George A;"Wordnet: a lexical database for English.", Communications of the ACM 38.11, 1995, p.39-41
http://l2r.cs.uiuc.edu/~danr/Teaching/CS598-05/Papers/miller95.pdf
18.WordNet Interface
http://www.nltk.org/howto/wordnet.html

カウントベース手法による単語ベクトル

19.Church, Kenneth Ward, and Patrick Hanks: "Word association norms, mutual information, and lexicography.", Communicational linguistics 16.1, 1990, p.22-29
http://www.aclweb.org/anthology/J90-1003
20. Deerwester, Scott, et al:"Indexing by latent semantic analysis.", Journal of the american society for information science 41.6, 1990, p.391-407
http://www.cs.bham.ac.uk/~pxt/IDA/lsa_ind.pdf
第一刷には終了ページの記載が抜けている。
21. TruncatedSVD
http://scikit-learn.org/stable/modules/generated/sklearn.decomposition.TruncatedSVD.html

word2vec関連

22.Mikolov, Tomas, et al:"Efficient estimation of word representations in vector space." arXiv preprint arXiv:1301.3781, 2013
https://arxiv.org/abs/1301.3781
23.Mikolov, Tomas, et al:"Distributed representations of words and phrases and their compositionally.", Advances in neural information processing systems, 2013
https://arxiv.org/pdf/1310.4546.pdf
24.Baroni, Marco, Georgiana Dinu, and Germán Kruszewski:"Don't count, predict! A systematic comparison of context-counting vs. context-predicting semantic vectors.", ACL(1), 2014,
雑誌の記述が不明。ACLはAssociation for Computational Linguistics.の略。雑誌名はProceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, p.238–247
http://www.aclweb.org/anthology/P14-1023
25.Levy, Omer, Yoan Goldberg, and Ido Dagan: "Improving distributional similarity with lessons learned from word embeddings." Transactions of the Association for Computational Linguistics 3, 2015, p.211-225.
https://levyomer.files.wordpress.com/2015/03/improving-distributional-similarity-tacl-2015.pdf
26.Levy, Omer, Yoan Goldberg:"Neural word embedding as implicit matrix factorization." Advances in neural information processing systems, 2014
https://papers.nips.cc/paper/5477-neural-word-embedding-as-implicit-matrix-factorization.pdf
27. Pennington, Jeffrey, Richard Soccer, and Christopher D. Manning:"Glove: Global Vectors for Word Representation.", EMNLP. VOl14. 2014
https://nlp.stanford.edu/pubs/glove.pdf
表題"Glove:"ではなく、"GloVe:"
28.Bengio, Yoshua, et al."A neural probabilistic language model.", Journal of machine learning research 3. Feb, 2003, p.1137-1155.
http://www.iro.umontreal.ca/~vincentp/Publications/lm_jmlr.pdf

RNN関連

29.Talathi, Sachin S., and Aniket Vartan:"Improving performance of recurrent neural network with rely nonlinearity.", arXiv preprint arXiv:1511.03771, 2015
https://arxiv.org/abs/1511.03771
30.Pascanu, Razan, Tomas Mikolov, and Yoshua Bengio:"On the difficulty of training recurrent neural networks.", International Conference on Machine Learning, 2013
http://proceedings.mlr.press/v28/pascanu13.pdf
31.colah's blog:"Understanding LSTM Networks",2015,
http://colah.github.io/posts/2015-08-Understanding-LSTMs/
32.Chung, Junyoung, et al:"Empirical evaluation of gated recurrent neural networks on sequence modeling." arXiv preprint arXiv:1412.3355, 2014
https://arxiv.org/abs/1412.3555
33. Jozefowicz, Rafal, Wojciech Zaremba, and Ilya Sutskever:"An empirical exploration of recurrent network architectures." International Conference on Machine Learning, 2015
http://proceedings.mlr.press/v37/jozefowicz15.pdf
誤植：Jozefowicz, Rafal, Wojciech Zaremba, and Ilya Sutskever
原情報：Rafal Jozefowicz , Wojciech Zaremba , Ilya Sutskever

RNNによる言語モデル

34.Merity, Stephen, Nitish Shirish Keskar, and Richard Socher:"Regularizing and optimizing LSTM language models." arXiv preprint arXiv:1708.02182, 2017
誤植：Merity, Stephen, Nitish Shirish Keskar, and Richard Socher
原情報：Stephen Merity, Nitish Shirish Keskar, Richard Socher
https://arxiv.org/abs/1708.02182
35.Zaremba, Wojciech, IIya Sutskever, and Oriol Vinyals:"Recurrent neural netwok regularization." arXiv preprint arXiv:1409.2329, 2014,
誤植：Zaremba, Wojciech, IIya Sutskever, and Oriol Vinyals
原情報：Wojciech Zaremba, Ilya Sutskever, Oriol Vinyals
36.Gal, Yarin, and Zoubin Ghahramani:"A theoretically grounded application of dropout in recurrent neural networks.", Advances in neural information processing systems, 2016
https://arxiv.org/abs/1512.05287
誤植：Gal, Yarin, and Zoubin Ghahramani
原情報：Yarin Gal, Zoubin Ghahramani
37.Press, Ofir, and Lior Wolf:"Using the output embedding to improve language models." arXiv preprint arXiv:1608.05859, 2016
https://arxiv.org/abs/1608.05859
誤植：Press, Ofir, and Lior Wolf
原情報：Ofir Press, Lior Wolf
38 Inan, Hakan, Khashayar Khosravi, and Richard Socher:"Tying Word Vectors and Word Classifiers: A Loss Framework for Language Modeling." arXiv preprint arXiv:1611.01462, 2016
https://arxiv.org/abs/1611.01462
「誤植：Inan, Hakan, Khashayar Khosravi, and Richard Socher
原情報：Hakan Inan, Khashayar Khosravi, Richard Socher」
39. PyTorch Examples, "Word-level language modeling RNN"
http://github.com/pytorchexamples/tree/0.3/word_language_model
「0.4が出ている。またmasterはこちらでo.3は”This branch is 15 commits behind master.”。
https://github.com/pytorch/examples/tree/master/word_language_model」

seqwseq関連

40.Keras examples, "Implementation of sequence to sequence learning for performing addition of two numbers (as string)"
https://github.com/keras-team/keras/blob/2.0.0/examples/addtion_rnn.py
「2.0.0はNot found
https://github.com/keras-team/keras/blob/master/examples/addition_rnn.py」
41.Sutskever, Ilya, Oriol Vinyals, and Quoc V. Le:"Sequence to sequence learning with neural networks.", Advances in neural information processing systems. 2014.
「誤植：Sutskever, Ilya, Oriol Vinyals, and Quoc V. Le
原情報： Ilya Sutskever , Oriol Vinyals , Quoc V. Le」
42.Cho, Kyunghyun, et al:"Learning phrase representations using RNN encoder-decoder for statistical machine translation.", arXiv preprint arXiv:1406.1078
https://arxiv.org/abs/1406.1078
「誤植：Cho, Kyunghyun,
原情報：Kyunghyun Cho,」
43. Vinyals, Oriol, and Quoc Le:"A neural conversational model.", arXiv preprint arXiv:1506.05869, 2015
https://arxiv.org/abs/1506.05869
「誤植：Vinyals, Oriol, and Quoc Le
原情報：Oriol Vinyals, Quoc Le」
44.Zaremba, Wojciech, and Ilya Sutskever:"Learning to execute.", arXiv preprint arXiv:1410.4615, 2014
「誤植；Zaremba, Wojciech, and Ilya Sutskever
原情報；Wojciech Zaremba, Ilya Sutskever」
45. Vinyl, Oriol, et al:"Show and tell: A neural image caption generator.", Computer Vision and Pattern Recognition(CVPR), 2015 IEEE Conference on. IEEE, 2015
https://arxiv.org/pdf/1411.4555.pdf
「誤植；Vinyl, Oriol,
原情報；Oriol Vinyals」
46. Karpathy, Andrej and Li Fei-Fei:"Deep visual-semantic alignments for generating image descriptions." Proceedings of the IEEE conference on computer vision and pattern recognition. 2015
https://cs.stanford.edu/people/karpathy/cvpr2015.pdf
https://arxiv.org/abs/1412.2306
「誤植：Karpathy, Andrej and Li Fei-Fei
原情報：Andrej Karpathy , Li Fei-Fei」
47. Show and Tell: A neural Image Caption Generator
https://github.com/tensorflow/models/tree/master/research/im2txt

Attention関連

1. Bahdanau, Dzmitry, Kyunghyun Cho, and Yoshua Bengio:"Neural machine translation by jointly learning to align and translate.", arXiv preprint arXiv:1409.0473, 2014
   https://arxiv.org/abs/1409.0473
   Bahdanau, Dzmitry, Kyunghyun Cho, and Yoshua Bengio
   Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio
   49.Luong, Minh-Thang, Hieu Pham, and Christopher D. Manning:"Effective approaches to attention-based neural machine translation.", arXiv prelprint arXiv:1508.04025, 2016
   「誤植:prelprint
   正:preprint
   誤植：Luong, Minh-Thang, Hieu Pham, and Christopher D. Manning
   原情報：Minh-Thang Luong, Hieu Pham, Christopher D. Manning」
2. Wu, Yonghui, et al:"Google's neural machine translation system: Bridging the gap between human and machine translation.", arXiv preprint arXiv:1609.08144, 2016
   「誤植：Wu, Yonghui
   原情報：Yonghui Wu」
   51.Google Research Blog.
   https://research.googleblog.com/2016/09/a-nurral-network-for-machine.html
   「誤植：https://research.googleblog.com/2016/09/a-nurral-network-for-machine.html
   原情報：https://ai.googleblog.com/2016/09/a-neural-network-for-machine.html」
   たぶん、「Google Research Blog. Neural Network for Machine Translation, at Production Scale, https://research.googleblog.com/2016/09/」としておけば、接続が切れなかったと思われる。後の祭り。
   52.Vaswani, Ashish, et al:"Attention Is All You Need.", arXiv preprint arXiv:1706.03762, 2017
   https://arxiv.org/abs/1706.03762
   「誤植：Vaswani, Ashish
   原情報Ashish Vaswani」
   53.Google Research Blog.
   https://research.googleblog.com/2017/08/transformer-novel-neural-network.html
   「誤植：https://research.googleblog.com/2017/08/transformer-novel-neural-network.html
   原情報：https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html」
   たぶん、「Transformer: A Novel Neural Network Architecture for Language Understanding, Thursday, August 31, 2017, https://research.googleblog.com/2017/08/」としてあれば変更は必要なかったかも。
   54.Gehring, Jones, et al:"Convolutional Sequence to Sequence Learning.", arXiv preprint arXiv:1705.03122, 2017
   https://arxiv.org/abs/1705.03122
   「誤植：Gehring, Jones,
   原情報：Jonas Gehring」

外部メモリ付きRNN

55.Graves, Alex, Greg Wayne, and Ivo Danihelka:"Neural Turing Machines.", arXiv preprint arXiv:1410.5401, 2014
https://arxiv.org/abs/1410.5401
「誤植：Graves, Alex, Greg Wayne, and Ivo Danihelka
原情報Alex Graves, Greg Wayne, Ivo Danihelka」
56.Graves, Alex, et al:"Hybrid computing using a neural network with dynamic external memory.", Nature 538.7626, 206, p471
abstract: https://www.nature.com/articles/nature20101
57. DeepMind Blog:"Differentiable neural computers",
https://deepmind.com/blog/differentiable-neural-computers/

誤植註釈　 by @kaizen_nagoya

GitHubの引用はできるだけmasterで。そのために２つURLがアクセスできていない。
筆頭著者の姓名は第二著者と同じ並びの方がよい。
著者並びの「and」は要らない。
論文名は原情報通りの大文字小文字関係がよい。一部小文字に変換しているものとしていないものがあり違和感がある。
「arXiv preprint」は要らない。そのために誤植を一つ増やしている。
arXivは原則abstractのURLを示した。参考文献欄にはしめしていない２つの文書が、すでにarXivに掲載されている。こちらは直接pdfを示した。
年は、（）でくくらない。くくったものと両方存在するのはみにくい。
原著の査読期間があって、一部参加した。言い訳になるが、真反対の意見などがあり、著者の調整が大変そうで、途中からコメントを控えた。

参考文献にはないお勧め

1. 言語処理100本ノック 2015
   http://www.cl.ecei.tohoku.ac.jp/nlp100/

2. JupyterNotebook
   http://jupyter.org/

3. Anaconda
   https://www.anaconda.com

4. Tex / Latex
   https://texwiki.texjp.org

5. 確率論及統計論輪講
   https://researchmap.jp/josgkrcbv-2087795/#_2087795

6. Raspberry PI & 名古屋のIoTは名古屋のOSで
   ９月からセミナ再開予定。読書会の午前中にRaspberry PIと機械学習を利用した自動運転実験あり。

7. 去年の読書会で蓄積した資料（整理中）
   「ゼロから作るDeep Learning ２自然言語処理編」読書会に参加する前に読んで置くとよい資料とプログラム
   https://qiita.com/kaizen_nagoya/items/537b1810265bbbc70e73

読書会で利用するシステムの導入方法

「名古屋のIoTは名古屋のOSで」Mac mini 21台常備試験・研修室
https://qiita.com/kaizen_nagoya/items/3fc572d06eafe15a4c35

Windows(MS)にPython(Anaconda)を導入する（5つの罠）
https://qiita.com/kaizen_nagoya/items/7bfd7ecdc4e8edcbd679

＜この記事は個人の過去の経験に基づく個人の感想です。現在所属する組織、業務とは関係がありません。＞
This article is an individual impression based on the individual's experience. It has nothing to do with the organization or business to which I currently belong.

文書履歴(document history)

ver. 0.10 初稿 20180804
ver. 0.11 発行年、ISBN, 資料URL追記。ページ番号にp.の記載を追記。著者名を原情報に訂正予定。20180805
ver. 0.12 python環境を記述。Anaconda python 3.6推奨。 20180814

最後までおよみいただきありがとうございました。

いいね　💚、フォローをお願いします。

Thank you very much for reading to the last sentence.

Please press the like icon 💚　and follow me for your happy life.