#今回の検証の主旨

①IMDbデータセットを利用して感情分析する。
　・Internet Movie Database（インターネット・ムービー・データベース、略称：IMDb）は俳優、映画、テレビ番組、テレビ・スターおよびビデオゲームに関する情報のオンラインデータベース。1998年からはAmazon.comによって提供されている。（from wiki）
　・IMDbデータセットは、5万件のレビュー文章＋５段階レーティングで構成される。

②同じインプットデータに対し、ML／DLで判別
　・それぞれの弁別精度／学習時間／前処理などの留意事項を把握
　・使い分けの勘所を考察

#結果のサマリ
◯今回検証では、検証環境の制約に起因してDL各方法では満足のいくAccuracyを出せなかった。
◯デモコードをなぞるのとは異なり、自分で用意したデータに対して、500,1000など最適なinputやoutputの次元数を探り、期待する結果を得るのは結構ハードルが高いと感じた。

※今回の検証でDLで弁別精度が悪かった原因は、学習の時間短縮のために特徴次元を圧縮しすぎたためと推察

　→DLの手法で成果を出すためには、学習のためのマシンリソース確保が重要な要素であることを改めて理解した。

#検証環境
◯Anaconda 4.4.0 〜 ipython (on mac)
◯virtualenv でpython3.5環境構築
◯追加ライブラリは下記
　　・nltk　→Natural Language Toolkit。今回はstopwordの取得に利用（後述）
　　・sklearn　→レビュー文章のベクトル化、ロジスティック回帰に利用
　　・graphviz／pydot　→NNのモデル視覚化に利用
　　・PyPrind　→処理のProgress Bar表示

#大まかな流れ
◯データセット取得・CSV化
◯共通関数の定義
　・レビュー文章のクレンジング
　　　- stopwordの除去（is andなど、判別に不要）
　　　- HTMLタグの除去　　
　・レビュー文章の数値ベクトル化（n次元の数値配列化）
　・他、CSV処理用
◯学習 ☓ 4パターン
◯検証 ☓ 4パターン
　※ロジ回帰/LSTM/biLSTM/CNN

#データセット取得・CSV化
①ダウンロード（http://ai.stanford.edu/~amaas/data/sentiment/）
　・5万個のテキストファイル
　・中身は英文のレビュー文章

②CSVを作成
　・５万行の「レビュー文章、ポジネガ判定のクラルラベル（0 or 1）」のCSVを作成

#共通関数の定義

①レビュー文章のクレンジング
　　　- stopwordの除去（is andなど、判別に不要）
　　　- HTMLタグの除去

②CSV処理用

③レビュー文章のベクトル化（n次元の数値配列化）

HashingVectorizerインスタンス化。
レビュー文章をN次元の特徴ベクトル化するのに、後ほど利用。N次元の (Hashid、特徴ベクトル)のSparse配列に変換される

上の例では、2**21 = 20976152次元　となる。
なお今回の検証では
　・MLは、20976152次元
　・DLは、512次元　　　とした。　※次元数を増やすと処理時間が跳ねあがったため。

これが、DLでうまく判別できてない理由に繋がっている。

#学習〜検証

①ロジスティック回帰

②DL共通

②-1. LSTMのモデル定義

②-2. bi-LSTMのモデル定義

②-3. CNNのモデル定義

#結果まとめ

#気付き＆つぶやき
◯DLの学習には半端なくコストがかかる（マシン時間）
◯MLでできることは、DLではなく素直にMLを使うのが良さそう。コスト・説明力観点で
◯DLの層の組み方は世間のデモを参考にするとしても、やりたいことに対してinputやoutputの次元数を考えるのはなかなか難しい
◯DL（MLもだが）にインプットするデータを整備するのは労力が掛かる
◯本当は、DLの3種類のモデルの使い分けも考察したかったが、至らなかったのが残念

##参考情報
◯「Python機械学習プログラミング 9章」 @インプレス
◯NNモデルの層の組み方については、以下を参考
https://github.com/fchollet/keras/blob/master/examples/imdb_lstm.py
https://github.com/fchollet/keras/blob/master/examples/imdb_bidirectional_lstm.py
https://github.com/fchollet/keras/blob/master/examples/imdb_cnn.py