2018年8月23日（木）午後１時から開催予定の読書会用の資料を、去年のことは一度忘れて、０から作り始める。場所は名古屋市熱田区六番３−４−４１名古屋市工業研究所電子技術総合センター５階コンピュータ研修室
https://connpass.com/event/97648/
今年から参加される方への参考のため。毎日、すこしづつ追記します。
なお、URLによっては学術用のみに公開しており、営利で利用する場合には別途許諾がいる場合があります。それぞれのURLの許諾条件をお読みください。
ゼロから作るDeepLearning2 自然言語処理編
https://www.oreilly.co.jp/books/9784873118369/
サンプルコード
https://github.com/oreilly-japan/deep-learning-from-scratch-2
学習済みの重みファイル（6章、7章）
https://www.oreilly.co.jp/pub/9784873118369/BetterRnnlm.pkl
利用するのはMac os でanaconda(python 3.6)
$python --version
Python 3.6.0 :: Anaconda 4.3.0 (x86_64)
Windows PCを持ち込まれる方は
Windows(MS)にPython(Anaconda)を導入する（5つの罠）
https://qiita.com/kaizen_nagoya/items/7bfd7ecdc4e8edcbd679
を参照して事前に入れておいていただくか、当日、現地で導入。
USB接続のEthernetを用意。
参考文献
論文には発行年の記載がある。書籍には発行年の記載がない。趣旨不明。発行年、ISBN, 資料URL追記。ページ番号にp.の記載を追記。
誤植記載。ただし、筆頭著者の名前をわざわざ姓名に,を打っているのは誤解を招きやすいため、誤植とした。また、論文名に先頭以外に大文字をつけているものが、小文字になっていたり、大文字のままという処理の一貫性のなさもきになったが、こちらは誤解を与えないため誤植とはしてない。
このQiita資料も誤植を含んでいるかもしれません。コメント等でご指摘くださると幸いです。
python関連
1 Broadcasting
https://docs.scipy.org/doc/numpy-1.13.0/user/basic/broadcasting.html
は、下記に変更になっている。
https://docs.scipy.org/doc/numpy-1.13.0/reference/ufuncs.html#broadcasting
最新版は
https://docs.scipy.org/doc/numpy-1.15.0/reference/ufuncs.html#broadcasting
2.100 numpy exercises
https://github.com/rougier/numpy-100
3. Cupy web page
https://cupy.chainer.org/
4. Cupy install page
http://docs-cupy.chainer.org/en/stable/install.html
ディプラーニングの基本事項
5.斎藤康毅, ゼロから作るDeep Learning ― Pythonで学ぶディープラーニングの理論と実装, オライリー, 2016, ISBN978-4-87311-758-4
https://www.oreilly.co.jp/books/9784873117584/
6. Gupta. Suyog. et al: "Deep learning with limited numerical precision.", Proceedings of the 32nd International Conference on Machine Learning (ICML-15) 2015
http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.1001.5463&rep=rep1&type=pdf
7. Jouppi. Norman P.. et al: "In-datacenter performance analysis of a tensor processing unit."Proceedings of the 44th Annual International Symposium on Computer Architecture, ACM. 2017
https://arxiv.org/abs/1704.04760
8. Ba. Jimmy Lei. Jamie Ryan Kiros, and Geoffrey E. Hinton: "Layer normalization." arXiv preprint arXiv:1607.06450, 2016
https://arxiv.org/abs/1607.06450
9. Srivastava, Nitish. et al: "Dropout: a simple way to prevent neural networks from overfitting."Journal of Machine Learning Research 15, 2014, p.1929-1958
http://www.cs.toronto.edu/%7Ersalakhu/papers/srivastava14a.pdf
ディープラーニングによる自然言語処理
10.Stanford University CS224d: DeepLearning for Natural Language Processing
http:/cs224d.stanford.edu
11. Oxford Deep NLP 2017 course
http://github.com/oxford-cs-deepnlp-2017/lectures
12. Young D. Hazarika, S. Peoria. and E. Cambria: ""Recent trends in deep learning based natural language processing." in arXiv preprint arXiv:1708.02709, 2017
https://arxiv.org/abs/1708.02709
13. 坪井裕太,海野裕也, 鈴木潤:「深層学習による自然言語処理(機械学習プロフェッショナルシリーズ)」講談社, 2017, ISBN 978-4-06-152924-3
https://www.kspub.co.jp/book/detail/1529243.html
ディープラーニング登場以前の自然言語処理
14.Steven Bird. Iwane Klein, Edward Loper:「入門 自然言語処理」, オライリージャパン, 2010,ISBN978-4-87311-470-5
https://www.oreilly.co.jp/books/9784873114705/
15.Jeffrey E.F. Friedl:「詳説 正規表現第3版」オライリージャパン, 2008, ISBN978-4-87311-359-3
https://www.oreilly.co.jp/books/9784873113593/
16.Christopher D. Manning, Hinrich Schutze:「統計的自然言語処理の基礎」共立出版, 2017, ISBN 978-4-320-12421-9
http://www.kyoritsu-pub.co.jp/bookdetail/9784320124219
17.Miller, George A;"Wordnet: a lexical database for English.", Communications of the ACM 38.11, 1995, p.39-41
http://l2r.cs.uiuc.edu/~danr/Teaching/CS598-05/Papers/miller95.pdf
18.WordNet Interface
http://www.nltk.org/howto/wordnet.html
カウントベース手法による単語ベクトル
19.Church, Kenneth Ward, and Patrick Hanks: "Word association norms, mutual information, and lexicography.", Communicational linguistics 16.1, 1990, p.22-29
http://www.aclweb.org/anthology/J90-1003
20. Deerwester, Scott, et al:"Indexing by latent semantic analysis.", Journal of the american society for information science 41.6, 1990, p.391-407
http://www.cs.bham.ac.uk/~pxt/IDA/lsa_ind.pdf
第一刷には終了ページの記載が抜けている。
21. TruncatedSVD
http://scikit-learn.org/stable/modules/generated/sklearn.decomposition.TruncatedSVD.html
word2vec関連
22.Mikolov, Tomas, et al:"Efficient estimation of word representations in vector space." arXiv preprint arXiv:1301.3781, 2013
https://arxiv.org/abs/1301.3781
23.Mikolov, Tomas, et al:"Distributed representations of words and phrases and their compositionally.", Advances in neural information processing systems, 2013
https://arxiv.org/pdf/1310.4546.pdf
24.Baroni, Marco, Georgiana Dinu, and Germán Kruszewski:"Don't count, predict! A systematic comparison of context-counting vs. context-predicting semantic vectors.", ACL(1), 2014,
雑誌の記述が不明。ACLはAssociation for Computational Linguistics.の略。雑誌名はProceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, p.238–247
http://www.aclweb.org/anthology/P14-1023
25.Levy, Omer, Yoan Goldberg, and Ido Dagan: "Improving distributional similarity with lessons learned from word embeddings." Transactions of the Association for Computational Linguistics 3, 2015, p.211-225.
https://levyomer.files.wordpress.com/2015/03/improving-distributional-similarity-tacl-2015.pdf
26.Levy, Omer, Yoan Goldberg:"Neural word embedding as implicit matrix factorization." Advances in neural information processing systems, 2014
https://papers.nips.cc/paper/5477-neural-word-embedding-as-implicit-matrix-factorization.pdf
27. Pennington, Jeffrey, Richard Soccer, and Christopher D. Manning:"Glove: Global Vectors for Word Representation.", EMNLP. VOl14. 2014
https://nlp.stanford.edu/pubs/glove.pdf
表題"Glove:"ではなく、"GloVe:"
28.Bengio, Yoshua, et al."A neural probabilistic language model.", Journal of machine learning research 3. Feb, 2003, p.1137-1155.
http://www.iro.umontreal.ca/~vincentp/Publications/lm_jmlr.pdf
RNN関連
29.Talathi, Sachin S., and Aniket Vartan:"Improving performance of recurrent neural network with rely nonlinearity.", arXiv preprint arXiv:1511.03771, 2015
https://arxiv.org/abs/1511.03771
30.Pascanu, Razan, Tomas Mikolov, and Yoshua Bengio:"On the difficulty of training recurrent neural networks.", International Conference on Machine Learning, 2013
http://proceedings.mlr.press/v28/pascanu13.pdf
31.colah's blog:"Understanding LSTM Networks",2015,
http://colah.github.io/posts/2015-08-Understanding-LSTMs/
32.Chung, Junyoung, et al:"Empirical evaluation of gated recurrent neural networks on sequence modeling." arXiv preprint arXiv:1412.3355, 2014
https://arxiv.org/abs/1412.3555
33. Jozefowicz, Rafal, Wojciech Zaremba, and Ilya Sutskever:"An empirical exploration of recurrent network architectures." International Conference on Machine Learning, 2015
http://proceedings.mlr.press/v37/jozefowicz15.pdf
誤植：Jozefowicz, Rafal, Wojciech Zaremba, and Ilya Sutskever
原情報：Rafal Jozefowicz , Wojciech Zaremba , Ilya Sutskever
RNNによる言語モデル
34.Merity, Stephen, Nitish Shirish Keskar, and Richard Socher:"Regularizing and optimizing LSTM language models." arXiv preprint arXiv:1708.02182, 2017
誤植：Merity, Stephen, Nitish Shirish Keskar, and Richard Socher
原情報：Stephen Merity, Nitish Shirish Keskar, Richard Socher
https://arxiv.org/abs/1708.02182
35.Zaremba, Wojciech, IIya Sutskever, and Oriol Vinyals:"Recurrent neural netwok regularization." arXiv preprint arXiv:1409.2329, 2014,
誤植：Zaremba, Wojciech, IIya Sutskever, and Oriol Vinyals
原情報：Wojciech Zaremba, Ilya Sutskever, Oriol Vinyals
36.Gal, Yarin, and Zoubin Ghahramani:"A theoretically grounded application of dropout in recurrent neural networks.", Advances in neural information processing systems, 2016
https://arxiv.org/abs/1512.05287
誤植：Gal, Yarin, and Zoubin Ghahramani
原情報：Yarin Gal, Zoubin Ghahramani
37.Press, Ofir, and Lior Wolf:"Using the output embedding to improve language models." arXiv preprint arXiv:1608.05859, 2016
https://arxiv.org/abs/1608.05859
誤植：Press, Ofir, and Lior Wolf
原情報：Ofir Press, Lior Wolf
38 Inan, Hakan, Khashayar Khosravi, and Richard Socher:"Tying Word Vectors and Word Classifiers: A Loss Framework for Language Modeling." arXiv preprint arXiv:1611.01462, 2016
https://arxiv.org/abs/1611.01462
「誤植：Inan, Hakan, Khashayar Khosravi, and Richard Socher
原情報：Hakan Inan, Khashayar Khosravi, Richard Socher」
39. PyTorch Examples, "Word-level language modeling RNN"
http://github.com/pytorchexamples/tree/0.3/word_language_model
「0.4が出ている。またmasterはこちらでo.3は”This branch is 15 commits behind master.”。
https://github.com/pytorch/examples/tree/master/word_language_model」
seqwseq関連
40.Keras examples, "Implementation of sequence to sequence learning for performing addition of two numbers (as string)"
https://github.com/keras-team/keras/blob/2.0.0/examples/addtion_rnn.py
「2.0.0はNot found
https://github.com/keras-team/keras/blob/master/examples/addition_rnn.py」
41.Sutskever, Ilya, Oriol Vinyals, and Quoc V. Le:"Sequence to sequence learning with neural networks.", Advances in neural information processing systems. 2014.
「誤植：Sutskever, Ilya, Oriol Vinyals, and Quoc V. Le
原情報： Ilya Sutskever , Oriol Vinyals , Quoc V. Le」
42.Cho, Kyunghyun, et al:"Learning phrase representations using RNN encoder-decoder for statistical machine translation.", arXiv preprint arXiv:1406.1078
https://arxiv.org/abs/1406.1078
「誤植：Cho, Kyunghyun,
原情報：Kyunghyun Cho,」
43. Vinyals, Oriol, and Quoc Le:"A neural conversational model.", arXiv preprint arXiv:1506.05869, 2015
https://arxiv.org/abs/1506.05869
「誤植：Vinyals, Oriol, and Quoc Le
原情報：Oriol Vinyals, Quoc Le」
44.Zaremba, Wojciech, and Ilya Sutskever:"Learning to execute.", arXiv preprint arXiv:1410.4615, 2014
「誤植；Zaremba, Wojciech, and Ilya Sutskever
原情報；Wojciech Zaremba, Ilya Sutskever」
45. Vinyl, Oriol, et al:"Show and tell: A neural image caption generator.", Computer Vision and Pattern Recognition(CVPR), 2015 IEEE Conference on. IEEE, 2015
https://arxiv.org/pdf/1411.4555.pdf
「誤植；Vinyl, Oriol,
原情報；Oriol Vinyals」
46. Karpathy, Andrej and Li Fei-Fei:"Deep visual-semantic alignments for generating image descriptions." Proceedings of the IEEE conference on computer vision and pattern recognition. 2015
https://cs.stanford.edu/people/karpathy/cvpr2015.pdf
https://arxiv.org/abs/1412.2306
「誤植：Karpathy, Andrej and Li Fei-Fei
原情報：Andrej Karpathy , Li Fei-Fei」
47. Show and Tell: A neural Image Caption Generator
https://github.com/tensorflow/models/tree/master/research/im2txt
Attention関連
- Bahdanau, Dzmitry, Kyunghyun Cho, and Yoshua Bengio:"Neural machine translation by jointly learning to align and translate.", arXiv preprint arXiv:1409.0473, 2014
https://arxiv.org/abs/1409.0473
Bahdanau, Dzmitry, Kyunghyun Cho, and Yoshua Bengio
Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio
49.Luong, Minh-Thang, Hieu Pham, and Christopher D. Manning:"Effective approaches to attention-based neural machine translation.", arXiv prelprint arXiv:1508.04025, 2016
「誤植:prelprint
正:preprint
誤植：Luong, Minh-Thang, Hieu Pham, and Christopher D. Manning
原情報：Minh-Thang Luong, Hieu Pham, Christopher D. Manning」 - Wu, Yonghui, et al:"Google's neural machine translation system: Bridging the gap between human and machine translation.", arXiv preprint arXiv:1609.08144, 2016
「誤植：Wu, Yonghui
原情報：Yonghui Wu」
51.Google Research Blog.
https://research.googleblog.com/2016/09/a-nurral-network-for-machine.html
「誤植：https://research.googleblog.com/2016/09/a-nurral-network-for-machine.html
原情報：https://ai.googleblog.com/2016/09/a-neural-network-for-machine.html」
たぶん、「Google Research Blog. Neural Network for Machine Translation, at Production Scale, https://research.googleblog.com/2016/09/」としておけば、接続が切れなかったと思われる。後の祭り。
52.Vaswani, Ashish, et al:"Attention Is All You Need.", arXiv preprint arXiv:1706.03762, 2017
https://arxiv.org/abs/1706.03762
「誤植：Vaswani, Ashish
原情報Ashish Vaswani」
53.Google Research Blog.
https://research.googleblog.com/2017/08/transformer-novel-neural-network.html
「誤植：https://research.googleblog.com/2017/08/transformer-novel-neural-network.html
原情報：https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html」
たぶん、「Transformer: A Novel Neural Network Architecture for Language Understanding, Thursday, August 31, 2017, https://research.googleblog.com/2017/08/」としてあれば変更は必要なかったかも。
54.Gehring, Jones, et al:"Convolutional Sequence to Sequence Learning.", arXiv preprint arXiv:1705.03122, 2017
https://arxiv.org/abs/1705.03122
「誤植：Gehring, Jones,
原情報：Jonas Gehring」
外部メモリ付きRNN
55.Graves, Alex, Greg Wayne, and Ivo Danihelka:"Neural Turing Machines.", arXiv preprint arXiv:1410.5401, 2014
https://arxiv.org/abs/1410.5401
「誤植：Graves, Alex, Greg Wayne, and Ivo Danihelka
原情報Alex Graves, Greg Wayne, Ivo Danihelka」
56.Graves, Alex, et al:"Hybrid computing using a neural network with dynamic external memory.", Nature 538.7626, 206, p471
abstract: https://www.nature.com/articles/nature20101
57. DeepMind Blog:"Differentiable neural computers",
https://deepmind.com/blog/differentiable-neural-computers/
誤植註釈 by @kaizen_nagoya
GitHubの引用はできるだけmasterで。そのために２つURLがアクセスできていない。
筆頭著者の姓名は第二著者と同じ並びの方がよい。
著者並びの「and」は要らない。
論文名は原情報通りの大文字小文字関係がよい。一部小文字に変換しているものとしていないものがあり違和感がある。
「arXiv preprint」は要らない。そのために誤植を一つ増やしている。
arXivは原則abstractのURLを示した。参考文献欄にはしめしていない２つの文書が、すでにarXivに掲載されている。こちらは直接pdfを示した。
年は、（）でくくらない。くくったものと両方存在するのはみにくい。
原著の査読期間があって、一部参加した。言い訳になるが、真反対の意見などがあり、著者の調整が大変そうで、途中からコメントを控えた。
参考文献にはないお勧め
-
言語処理100本ノック 2015
http://www.cl.ecei.tohoku.ac.jp/nlp100/ -
JupyterNotebook
http://jupyter.org/ -
Anaconda
https://www.anaconda.com -
Tex / Latex
https://texwiki.texjp.org -
確率論及統計論輪講
https://researchmap.jp/josgkrcbv-2087795/#_2087795 -
Raspberry PI & 名古屋のIoTは名古屋のOSで
９月からセミナ再開予定。読書会の午前中にRaspberry PIと機械学習を利用した自動運転実験あり。 -
去年の読書会で蓄積した資料（整理中）
「ゼロから作るDeep Learning ２自然言語処理編」読書会に参加する前に読んで置くとよい資料とプログラム
https://qiita.com/kaizen_nagoya/items/537b1810265bbbc70e73
読書会で利用するシステムの導入方法
「名古屋のIoTは名古屋のOSで」Mac mini 21台常備試験・研修室
https://qiita.com/kaizen_nagoya/items/3fc572d06eafe15a4c35
Windows(MS)にPython(Anaconda)を導入する（5つの罠）
https://qiita.com/kaizen_nagoya/items/7bfd7ecdc4e8edcbd679
一覧
物理記事 上位100
https://qiita.com/kaizen_nagoya/items/66e90fe31fbe3facc6ff
量子(0) 計算機, 量子力学
https://qiita.com/kaizen_nagoya/items/1cd954cb0eed92879fd4
数学関連記事１００
https://qiita.com/kaizen_nagoya/items/d8dadb49a6397e854c6d
統計(0)一覧
https://qiita.com/kaizen_nagoya/items/80d3b221807e53e88aba
言語・文学記事 １００
https://qiita.com/kaizen_nagoya/items/42d58d5ef7fb53c407d6
医工連携関連記事一覧
https://qiita.com/kaizen_nagoya/items/6ab51c12ba51bc260a82
自動車 記事 １００
https://qiita.com/kaizen_nagoya/items/f7f0b9ab36569ad409c5
通信記事１００
https://qiita.com/kaizen_nagoya/items/1d67de5e1cd207b05ef7
日本語（０）一欄
https://qiita.com/kaizen_nagoya/items/7498dcfa3a9ba7fd1e68
英語(0) 一覧
https://qiita.com/kaizen_nagoya/items/680e3f5cbf9430486c7d
転職(0)一覧
https://qiita.com/kaizen_nagoya/items/f77520d378d33451d6fe
仮説（0）一覧
https://qiita.com/kaizen_nagoya/items/f000506fe1837b3590df
Qiita(0)Qiita関連記事一覧（自分）
https://qiita.com/kaizen_nagoya/items/58db5fbf036b28e9dfa6
鉄道（０）鉄道のシステム考察はてっちゃんがてつだってくれる
https://qiita.com/kaizen_nagoya/items/26bda595f341a27901a0
安全（0）安全工学シンポジウムに向けて: 21
https://qiita.com/kaizen_nagoya/items/c5d78f3def8195cb2409
一覧の一覧( The directory of directories of mine.) Qiita(100)
https://qiita.com/kaizen_nagoya/items/7eb0e006543886138f39
Ethernet 記事一覧 Ethernet(0)
https://qiita.com/kaizen_nagoya/items/88d35e99f74aefc98794
Wireshark 一覧 wireshark(0)、Ethernet(48)
https://qiita.com/kaizen_nagoya/items/fbed841f61875c4731d0
線網（Wi-Fi）空中線(antenna)(0) 記事一覧
https://qiita.com/kaizen_nagoya/items/5e5464ac2b24bd4cd001
OSEK OS設計の基礎 OSEK(100)
https://qiita.com/kaizen_nagoya/items/7528a22a14242d2d58a3
Error一覧 error(0)
https://qiita.com/kaizen_nagoya/items/48b6cbc8d68eae2c42b8
プログラマによる、プログラマのための、統計(0)と確率のプログラミングとその後
https://qiita.com/kaizen_nagoya/items/6e9897eb641268766909
官公庁・学校・公的団体（NPOを含む）システムの課題、官（０）
https://qiita.com/kaizen_nagoya/items/04ee6eaf7ec13d3af4c3
「はじめての」シリーズ ベクタージャパン
https://qiita.com/kaizen_nagoya/items/2e41634f6e21a3cf74eb
AUTOSAR(0)Qiita記事一覧, OSEK(75)
https://qiita.com/kaizen_nagoya/items/89c07961b59a8754c869
プログラマが知っていると良い「公序良俗」
https://qiita.com/kaizen_nagoya/items/9fe7c0dfac2fbd77a945
LaTeX(0) 一覧
https://qiita.com/kaizen_nagoya/items/e3f7dafacab58c499792
自動制御、制御工学一覧（０）
https://qiita.com/kaizen_nagoya/items/7767a4e19a6ae1479e6b
Rust(0) 一覧
https://qiita.com/kaizen_nagoya/items/5e8bb080ba6ca0281927
小川清最終講義、最終講義（再）計画, Ethernet(100) 英語(100) 安全(100)
https://qiita.com/kaizen_nagoya/items/e2df642e3951e35e6a53
＜この記事は個人の過去の経験に基づく個人の感想です。現在所属する組織、業務とは関係がありません。＞
This article is an individual impression based on the individual's experience. It has nothing to do with the organization or business to which I currently belong.
文書履歴(document history)
ver. 0.10 初稿 20180804
ver. 0.11 発行年、ISBN, 資料URL追記。ページ番号にp.の記載を追記。著者名を原情報に訂正予定。20180805
ver. 0.12 python環境を記述。Anaconda python 3.6推奨。 20180814
最後までおよみいただきありがとうございました。
いいね 💚、フォローをお願いします。
Thank you very much for reading to the last sentence.
Please press the like icon 💚 and follow me for your happy life.