LoginSignup
0
1

言語処理100本ノック 2015 落ち穂拾い 第8章: 機械学習

Last updated at Posted at 2019-01-23

言語処理100本ノック2015
http://www.cl.ecei.tohoku.ac.jp/nlp100/
自分では全部まだできていない。次の資料を参考にさせていただいている。
素人の言語処理100本ノック:まとめ
https://qiita.com/segavvy/items/fb50ba8097d59475f760

環境構築

Dockerでpython言語処理100本ノック
https://qiita.com/taguchi_tomo/items/24483ceaea7638e83310
言語処理100本ノックをdockerで。
https://qiita.com/kaizen_nagoya/items/7e7eb7c543e0c18438c4
Windows(MS)にPython(Anaconda)を導入する(6つの罠)
https://qiita.com/kaizen_nagoya/items/7bfd7ecdc4e8edcbd679

play with docker

65歳からのプログラミング入門
https://qiita.com/kaizen_nagoya/items/1561f910c275b22d7c9f
Play with Docker でエラー
https://qiita.com/kaizen_nagoya/items/fbf054705bff725dbc25
65歳からのプログラミング入門(2) 二日目
https://qiita.com/kaizen_nagoya/items/57f362fb801fd3132803

第8章: 機械学習

# wget http://www.cs.cornell.edu/people/pabo/movie-review-data/rt-polaritydata.tar.gz

# tar -xzvf rt-polaritydata.tar.gz 
rt-polaritydata.README.1.0.txt
rt-polaritydata/rt-polarity.neg
rt-polaritydata/rt-polarity.pos

70. データの入手・整形

素人の言語処理100本ノック:70
https://qiita.com/segavvy/items/0e91fe02088b875a386a

71. ストップワード

素人の言語処理100本ノック:71
https://qiita.com/segavvy/items/007ed0523bf4e79e12fb

72. 素性抽出

素人の言語処理100本ノック:72
https://qiita.com/segavvy/items/6695f94c28126607227b

73. 学習

素人の言語処理100本ノック:73
https://qiita.com/segavvy/items/5ad0d5742a674bdf56cc

74. 予測

素人の言語処理100本ノック:74
https://qiita.com/segavvy/items/8a46a74e7a88df89051d

75. 素性の重み

素人の言語処理100本ノック:75
https://qiita.com/segavvy/items/5ded025346c9621aedb2

76. ラベル付け

素人の言語処理100本ノック:76.
https://qiita.com/segavvy/items/e107f764534f01c5b105

77. 正解率の計測

素人の言語処理100本ノック:77
https://qiita.com/segavvy/items/9444aecd0345a532fc9d

78. 5分割交差検定

素人の言語処理100本ノック:78.
https://qiita.com/segavvy/items/50820438fd6d10ceba7d

# ./p78.py
1/5
	学習開始	cost:0.6931471805599453
	学習中(#100)	cost:0.469368974471273	E:0.006456408447166015
	学習中(#200)	cost:0.41671790918219537	E:0.003825131317176285
	学習中(#300)	cost:0.3867509813142539	E:0.002694971119868291
	学習中(#400)	cost:0.3660770213027265	E:0.002086025378899501
	学習中(#500)	cost:0.35044863288057454	E:0.0017888228719814834
	学習中(#600)	cost:0.33797686944289584	E:0.0015759440155534365
	学習中(#700)	cost:0.32765887754457296	E:0.0014148016804276875
	学習中(#800)	cost:0.31889926826902026	E:0.0012886489568974583
	学習中(#900)	cost:0.3113161437295424	E:0.0012128595770663593
	学習中(#1000)	cost:0.30465026107326026	E:0.001146483772856951
	学習完了(#1000) 	cost:0.30465026107326026	E:0.001146483772856951
2/5
	学習開始	cost:0.6931471805599453
	学習中(#100)	cost:0.4690905135026078	E:0.006134362632531519
	学習中(#200)	cost:0.41649256530609596	E:0.003599499475355983
	学習中(#300)	cost:0.3865383018156538	E:0.0025236704344196352
	学習中(#400)	cost:0.36590294111742055	E:0.0020572940642229285
	学習中(#500)	cost:0.3503361956164202	E:0.0018128080265192251
	学習中(#600)	cost:0.3379374946809548	E:0.0016298368671915507
	学習中(#700)	cost:0.32769499711245165	E:0.001509136590801651
	学習中(#800)	cost:0.31900790642082716	E:0.0014038750947130058
	学習中(#900)	cost:0.31149151410102405	E:0.0013111704825945814
	学習中(#1000)	cost:0.3048853707795827	E:0.0012293003217139107
	学習完了(#1000) 	cost:0.3048853707795827	E:0.0012293003217139107
3/5
	学習開始	cost:0.6931471805599453
	学習中(#100)	cost:0.47235556313546906	E:0.006098951840781968
	学習中(#200)	cost:0.4192968128606802	E:0.0036269488853269993
	学習中(#300)	cost:0.389012151981973	E:0.002798473128127882
	学習中(#400)	cost:0.3680850255736524	E:0.002349748812971615
	学習中(#500)	cost:0.3522413195589952	E:0.0020471790311732585
	学習中(#600)	cost:0.33957853019845374	E:0.0018279998991401203
	学習中(#700)	cost:0.3290866605951205	E:0.0016608479248400177
	学習中(#800)	cost:0.3201663526284236	E:0.0015283586359622061
	学習中(#900)	cost:0.31243338681821836	E:0.0014201769640445608
	学習中(#1000)	cost:0.30562707251234367	E:0.0013297586842835967
	学習完了(#1000) 	cost:0.30562707251234367	E:0.0013297586842835967
4/5
	学習開始	cost:0.6931471805599453
	学習中(#100)	cost:0.47229509589563395	E:0.00662019314254643
	学習中(#200)	cost:0.4194601571296057	E:0.003924284598346025
	学習中(#300)	cost:0.38928994427935626	E:0.0028701409585224756
	学習中(#400)	cost:0.36844335000530115	E:0.0022544888615446445
	学習中(#500)	cost:0.35266987764140073	E:0.0018499303779624296
	学習中(#600)	cost:0.3400734402448533	E:0.0015635508255573034
	学習中(#700)	cost:0.3296455644137898	E:0.0013766507487255174
	学習中(#800)	cost:0.3207871508428091	E:0.0012570943726472428
	学習中(#900)	cost:0.3131139643045036	E:0.0011896418117151217
	学習中(#1000)	cost:0.3063652722421717	E:0.0011441657015093662
	学習完了(#1000) 	cost:0.3063652722421717	E:0.0011441657015093662
5/5
	学習開始	cost:0.6931471805599453
	学習中(#100)	cost:0.4744758976965551	E:0.006672977578514134
	学習中(#200)	cost:0.422001753025773	E:0.0035676027192166407
	学習中(#300)	cost:0.39197357060441734	E:0.00259592958887306
	学習中(#400)	cost:0.37119347686406223	E:0.002170844469306964
	学習中(#500)	cost:0.35545392680477145	E:0.0019027464155369784
	学習中(#600)	cost:0.3428762537126132	E:0.001685529077526549
	学習中(#700)	cost:0.3324597164988973	E:0.0015073548834247765
	学習中(#800)	cost:0.32360872625168724	E:0.0013911436594784125
	学習中(#900)	cost:0.31594066382795105	E:0.00137814138299661
	学習中(#1000)	cost:0.3091955688197308	E:0.001364138930828514
	学習完了(#1000) 	cost:0.3091955688197308	E:0.001364138930828514

学習レート:6.0	学習繰り返し数:1000
正解率 	0.748780487804878
適合率 	0.751948298802509
再現率 	0.7423531619440795
F1スコア 	0.7471199244570349

79. 適合率-再現率グラフの描画

素人の言語処理100本ノック:79
https://qiita.com/segavvy/items/68e5661351da52f1d765

今日の作業記録 python error(言語処理100本ノック:79)未解決
https://qiita.com/kaizen_nagoya/items/bfd6037483739563ee6a

参考資料(reference)

言語処理100本ノック 2015(python) 動作確認docker環境構築
https://qiita.com/kaizen_nagoya/items/abaf3fd0198f9f557243
言語処理100本ノック 2015(python) 落ち穂拾い 第1章: 準備運動 00, 01, 02, 03, 04, 05, 06,07
https://qiita.com/kaizen_nagoya/items/ee1b625b0b65cd63d42a
「Python 入門」の入門
https://qiita.com/kaizen_nagoya/items/22c99c5926984ede6573
Windows(MS)にPython(Anaconda)を導入する(6つの罠)
https://qiita.com/kaizen_nagoya/items/7bfd7ecdc4e8edcbd679
65歳からのプログラミング入門
https://qiita.com/kaizen_nagoya/items/1561f910c275b22d7c9f
65歳からのプログラミング入門(2) 二日目
https://qiita.com/kaizen_nagoya/items/57f362fb801fd3132803
なぜdockerで機械学習するか 書籍・ソース一覧作成中 (目標100)
https://qiita.com/kaizen_nagoya/items/ddd12477544bf5ba85e2
dockerで機械学習 with anaconda(1)「ゼロから作るDeep Learning - Pythonで学ぶディープラーニングの理論と実装」斎藤 康毅 著
https://qiita.com/kaizen_nagoya/items/a7e94ef6dca128d035ab
dockerで機械学習with anaconda(2)「ゼロから作るDeep Learning2自然言語処理編」斎藤 康毅 著
https://qiita.com/kaizen_nagoya/items/3b80dfc76933cea522c6
プログラミング言語教育のXYZ
https://qiita.com/kaizen_nagoya/items/1950c5810fb5c0b07be4

文書履歴(document history)

ver. 0.01 初稿 20190123
ver. 0.02 加筆 20190124
@### 最後までおよみいただきありがとうございました。

いいね 💚、フォローをお願いします。

Thank you very much for reading to the last sentence.

Please press the like icon 💚 and follow me for your happy life.
このエントリーをはてなブックマークに追加

0
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
1