#Level８．深層学習　ＤＡＹ４
##8-1.Section1) TensorFlowの実装演習
　　●TensorFlowについて
　　　•実務ではTensorFlowを活用することが多く、スクラッチで実装することは少ない。
　　　•TensorFlow、Keras、Pytorchの順。
　　　•TensorFlowはgoogleが作ったディープラーニングのフレームワークで、
　　　　調べる際もTensorFlowが多い。

　　●実装「constant」
　　　•TensorFlow ではテンソルというものを利用する。
　　　•Session.run() で起動しないと中身も確認できない。

　　●実装「placeholder」
　　　・placeholderは、箱のようなものを用意している。
　　　・placeholderは後から値を自在に変更できる。
　　　・feed_dictで配列のx番目の要素を渡す。
　　　　⇒xをバッチに渡して実行するときなどに使用する。

　　●実装「variables」
　　　・a = tf.constant(10)と定義するとaに10を設定する。
　　　・x = tf.Variable(1)後々に値を変えて更新できる。
　　　　⇒「calc_op = x * a」「update_x = tf.assign(x, calc_op)」
　　　　　で値を更新している。
　　　・init = tf.global_variables_initializer()は、
　　　　変数を初期化する。

###8-1-2 線形回帰の実装演習
　　●matplotlibのjitterの仕様（1度目にプロットできない）
　　　matplotlibの下にinlineを書いてあげる。

　　●コード
　　　・iters_num　･･･何回学習するか。
　　　・plot_interval　･･･10回ごとに結果を表示する。
　　　・n = 100
　　　　x = np.random.rand(n)
　　　　d = 3 * x + 2　･･･100個のランダムなxを用意し、3*x+2の値を作る。
　　　・xは直線の値のため、noiseを加える。
　　　　⇒上下にまばらな値ができる。
　　　・train = optimizer.minimize(loss)　･･･誤差を最小化する学習。
　　　・loss = tf.reduce_mean(tf.square(y - dt))　･･･回帰二乗誤差
　　　・sess.run(train, feed_dict={xt:x_train,dt:d_train})
　　　　･･･trainを読み出し、feed_dictでx_train、d_trainを渡していく。
　　　・W_val：[3.0194452]、b_val：[1.9318823]となっており、
　　　　d = 3 * x + 2のW:3とb：2に近い予測値になっている。

　　●Tryの確認
　　　・noiseの値を変更しよう
　　　・dの数値を変更しよう

　　　noiseに0.55、bに9を設定する。
　　　⇒W：[3.0428321]、b：[8.961408]と予測された。
　　　　その他変更して試したが、noiseが大きいと上手く回帰できない。

　　☆考察☆
　　　•noiseによるデータの作成で、直線上からどの程度ノイズを発生させるのか、
　　　実際のデータがない時に一般データとの差を考えるのも難しいと感じた。
　　　•Wとdがきちんと予測されると面白い。

###8-1-3 非線形回帰の実装演習
　　●非線形な一直線でない式を予測する。

　　●コード
　　　・「d = -0.4 * x ** 3 + 1.6 * x ** 2 - 2.8 * x + 1」
　　　　非線形な解を作成している。
　　　・Wが-0.4、1.6、-2.8、1と4つあるため、
　　　　WのVariableのoshapeを[4,1]と定義。
　　　・optimizer = tf.train.AdamOptimizer(0.001)に変更している。
　　　・[[-0.3990355]
　　　　 [ 1.6032437]
　　　　[-2.8051274]
　　　　[ 1.0001277]]　･･･4つのWがきちんと予測できている。

　　●Tryの確認
　　　・noiseの値を変更しよう
　　　・dの数値を変更しよう

　　　noiseを0.35にしてみた。
　　　⇒[[-0.36423665]
　　　　[ 1.6244664 ]
　　　　[-2.8141403 ]
　　　　 [ 0.96930456]]　･･･4つのWはほぼ予測ができている。

　　　dを変更してみる。
　　　「d = 0.4 * x ** 3 + 2.8 * x ** 2 - 2.8 * x + 10」
　　　⇒[[ 0.31515315]
　　　　 [ 3.8476086 ]
　　　　[-2.596497 ]
　　　　 [ 7.5793443 ]]　･･･ちょっと厳しかったようだ。

　　☆考察☆
　　　•noiseを大きくしても線形回帰と比べてあまり分散しなくなるようだ。
　　　•dは線形回帰と比べても極端に予測がズレない。4つのWで複雑な非線形になると、
　　　平均二乗誤差の収束は難しくなるが、線形回帰より大きく外れないと思った。

　　●Tryの確認
　　　次の式をモデルとして回帰を行おう
　　　$𝑦=30𝑥^2+0.5𝑥+0.2$

　　　誤差が収束するようiters_numやlearning_rateを調整しよう

　　☆考察☆
　　　・iters_numを30000～35000回くらいに設定しないと収束しなかった。
　　　　データ作成数を増やすなど、様々な試行錯誤は必要だと感じた。
　　　　「optimizer = tf.train.AdamOptimizer(0.01)」を0.001⇒0.01にする差が大きい。
　　　　⇒iters_numは25000回くらいで十分だった。

###8-1-4 分類1層（mnist）
　　●MNISTの分類
　　　　手書き文字のデータセットで、28×28×白黒データで1チャンネル。
　　　　0～9のどの数字かを予測する。

　　●Tryの確認
　　　次の式をモデルとして回帰を行おう
　　　・x：入力値, d：教師データ, W：重み, b：バイアスをそれぞれ定義しよう

　　　・内容を確認する。
　　　　①x_batch[0]
　　　　②d_batch[0]
　　　　③x_batch[0].shape
　　　　④plt.imshow(x_batch[0].reshape(28,28))

　　☆考察☆
　　　詳細はもう少し復習して深堀してみるが、
　　　1層で出力のsoftmax関数が出力する0～9の分類が87%の精度はすごいなと感じた。

###8-1-5 分類3層（mnist）
　　●MNIST1層より精度を上げる。
　　　・hidden_layerを2つ用意する。
　　　・784（入力）⇒600、600⇒300⇒10（個の出力）のニューラルネットワーク
　　　・隠れ層があるのでWやbを3つずつ用意。
　　　・TensorFlowでは毎回Variableを定義する必要がある。
　　　・Wが3つある場合：W1，W2，W3と、b1，b2，b3と定義する。
　　　・出力の前にドロップアウトしており、汎化性能を上げるため、
　　　　あるニューロンを消している。
　　　　「drop = tf.nn.dropout(z2, keep_prob)」

　　●Tryの確認
　　　隠れ層のサイズを変更してみよう（600、300）
　　　optimizerを変更しよう

　　☆考察☆
　　　修正前の状態で90%となった。dropout_rate=0としたら91%となったが、
　　　過学習になってしまってのかもしれない。
　　　隠れ層のサイズを半分にしたところ、87%と精度が落ちた。
　　　逆に800、500と増やすと91%と少し向上する。増やせばいいものだろうか。
　　　⇒増やすと学習に時間がかかるようになった。
　　　optimizerは、AdaGradを試してみた。
　　　最終的な精度は90%だが、途中からの伸びが良かった。
　　　講義と同じように全種類試した。

###8-1-6 分類CNN（mnist）
　　●Conb×pool×Conb×poolで、
　　　affin×dropout×affinという構造。
　　　・1層目でreshapeにより28×28×1チャンネルの画像として処理。
　　　・W_conb1は5×5×1×32というウェイト
　　　　5×5：CNNのフィルターサイズ
　　　　1×32：1チャンネルのものを32チャンネルに拡張する
　　　・padding='SAME'：shapeが変わらないようなpaddingを用意する。

　　●Tryの確認
　　　ドロップアウト率を0に変更しよう

　　☆考察☆
　　　ドロップアウト率が0.5の時は、93％の精度だった。
　　　ドロップアウト率を0にしたら、精度が91％と落ちた。
　　　ただ、90～96％をふらふらしており、学習モデルとしては安定していない印象。
　　　x_batchでトレーニングデータを渡したもので、汎化性能は不明。
　　　テストデータの場合、ドロップアウトさせた方が精度があがる。

###8-1-7 論文から実装する
　　●画像認識の最新モデルを実装するには？
　　　・VGG
　　　・AlexNet
　　　・GoogLeNet
　　　・Resnet
　　　・Yolo

　　　⇒・VGG16でarxivと検索するとarxivのサイトにて論文を参照でき、
　　　　　サイトから無料で手に入る。
　　　　・ABSTRACTを読む→ARCHITECTUREを見る。
　　　　　RESULTで精度がどうなったか確認する。
　　　　・表とかテキストで実装した組み合わせなどがまとめられている。
　　　　・VGGはブログの記事になっているものもある。
　　　　・コードがGitHubに載っているので参考にする。
　　　　・AlexNet等でもアーカイブがあり、構成図を参照したりする。
　　　　　「pytorch AlexNet」のように検索する。
　　　　・ResnetはDeep Residual Learning for Image Recognitionで、
　　　　　他と同じようにアーカイブがある。
　　　　・最新のものでなければ、既にあるものから実装する。
　　　　・物体認識（Yolo）もPDFで提供されているが、
　　　　　再現実装するのは大変だったりする。

###8-1-8 例題・例題解説
　　●例題１つ目
　　　解説なし

　　●例題２つ目
　　　正解は(a）

　　●例題３つ目
　　　正解は(a）

　　　
　　●例題４つ目
　　　正解はあ：(a）、い：(a)、う：（a）

　　●例題５目
　　　正解は(あ）

　　●例題６目
　　　正解は(a）

☆確認テスト☆
　　・8-1-8-1 VGG・GoogLeNet・ResNetの特徴をそれぞれ簡潔に述べよ。

　　【自分の回答】
　　　　VGG：16層と19層の構造のバージョンがある。勾配消失問題がある。
　　　　GoogLeNet：22層の構造。Inceptionモジュールが特徴。
　　　　ResNet：152層の構造。VGGの勾配消失問題を解決。

　　【解答】
　　　　VGG：最も古くて2014年のモデル。Convolution、Convolution、max_poolという
　　　　　　　単純なネットワークの積み重ねで出来ている。パラメータ数が多い。
　　　　GoogLeNet：Inception moduleを使ているのが特徴。1×1の畳み込みの次元削減。
　　　　ResNet：スキップコネクションアイデンティモジュールを使うことで残差接続を行い、
　　　　　　　　深い学習ができるという特徴。

###8-1-9 Keras1
　　●Kerasについて
　　　•TensorFlowのラッパーである。
　　　•初心者でも簡単に記述できる。
　　　•複雑なことを行う場合、TensorFlowを書かなければいけない。

　　●実装実習「線形回帰」

　　●実装実習「単純パーセプトロン」

　　●Tryの確認
　　　np.random.seed(0)をnp.random.seed(1)に変更
　　　エポック数を100に変更
　　　AND回路, XOR回路に変更
　　　OR回路にしてバッチサイズを10に変更
　　　エポック数を300に変更しよう

　　☆考察☆
　　　単純なOR回路でもバッチサイズやエポック数によっては、
　　　正解率が100%にならないことがある。XOR回路は、
　　　ハイパーパラメータを変更してもロスが減らず不正解がある。
　　　OR回路は非線形のため、1層ではうまくいかない。

　　●実装実習「分類（iris）」

　　●Tryの確認
　　　中間層の活性関数をsigmoidに変更しよう
　　　SGDをimportしoptimizerをSGD(lr=0.1)に変更しよう

　　　ソースの修正が必要だった。
　　　# from sklearn.cross_validation import train_test_split
　　　⇒from sklearn.model_selection import train_test_split

　　　# plt.plot(history.history['acc'])
　　　# plt.plot(history.history['val_acc'])
　　　⇒plt.plot(history.history['accuracy'])
　　　⇒plt.plot(history.history['val_accuracy'])

　　☆考察☆
　　　sigmoid関数だと勾配消失を起こすので、
　　　ReLU関数の汎化性の良さはわかるが、irisデータだと分かりづらい。
　　　複雑なデータを扱った際に、それぞれ検証してみようと思う。

###8-1-10 Keras1

　　●実装実習「分類（mnist）」

　　●Tryの確認
　　　load_mnistのone_hot_labelをFalseに変更しよう (error)
　　　誤差関数をsparse_categorical_crossentropyに変更しよう
　　　Adamの引数の値を変更しよう

　　☆考察☆
　　　model.compileの指定方を修正しないと、上手く動作しなかった。
　　　コーディングのいけないところは、じっくり再確認する予定。
　　　one_hot_labelの設定と、誤差関数をsparse_categorical_crossentropy、
　　　categorical_crossentropyの指定方については間違えないようにする。

　　●実装実習「CNN分類（mnist）」

　　●Tryの確認
　　　実行に時間がかかるため割愛

　　☆考察☆
　　　確かに処理に時間かかることが確認できた。
　　　padding=SAMEした時の動作比較検証は地道だが面白そう。
　　　多層のconvolutionについてもサイズを変更して確認してみる。

　　●実装実習「cifar10」

　　●Tryの確認
　　　実行に時間がかかるため割愛

　　☆考察☆
　　　50000枚のトレーニングデータ、10000枚のテストデータで、
　　　カラーの画像をRGBのため255で正規化している。
　　　割愛であるが、処理時間とコードの内容確認のため実施してみた。
　　　動画のように枚数を絞って実行すればよかった･･･｡

　　●実装実習「RNN」
　　　2進数足し算の予測
　　　Keras RNNのドキュメント https://keras.io/ja/layers/recurrent/#simplernn

　　●Tryの確認
　　　RNNの出力ノード数を128に変更
　　　RNNの出力活性化関数を sigmoid に変更
　　　RNNの出力活性化関数を tanh に変更
　　　最適化方法をadamに変更
　　　RNNの入力 Dropout を0.5に設定
　　　RNNの再帰 Dropout を0.3に設定
　　　RNNのunrollをTrueに設定

　　☆考察☆
　　　※BGMがうるさ過ぎて解説の声がすごく聞きづらい。。。
　　　KerasでRNNの実装はすごく楽である。
　　　sigmoidは精度が出ない。状況に応じて使い分けるのは計算させてみてだろうか。
　　　RNNの出力活性化関数をtanhにしたところ、直ぐに収束し精度が良い。
　　　KerasならsimpleRNNから様々なRNNのネットワークに切替えが可能。
　　　Kerasは容易に扱える印象であるが、やはりTensorflowで組めるようにしておきたい。

##8-2.Section1) 強化学習
###8-2-1 強化学習とは
　　●強化学習とは
　　　長期的に報酬を最大化できるように環境の中で行動を選択
　　　できるエージェントを作ることを目標とする機械学習の一分野。
　　　⇒行動の結果として与えられる利益（報酬）により、
　　　　行動を決定する原理を改善していく仕組み。
　　　　教師あり学習や教師なし学習とは違った分野。

　　　・マーケティングの応用例
　　　　プロフィールと購入履歴からキャンペーンメールを顧客に送付するソフト。
　　　　行動：顧客ごとに送信、非送信の行動を選択。
　　　　報酬：キャンペーンのコスト（負の報酬）、
　　　　　　　生み出されると推測される売り上げ（正の報酬）を受ける。

☆確認テスト☆
　　・8-2-1-1 強化学習に応用できそうな事例を考え、
　　　　　　　環境・エージェント・行動・報酬を具体的に挙げよ。

　　【自分の回答】
　　　環境：コンビニ等の共通したポイントカード導入箇所
　　　エージェント：ポイントの蓄積・ポイント利用の履歴により、
　　　　　　　　　　利用者還元セールやポイント10倍Dayなどを開催する。
　　　行動：顧客のポイントカード利用履歴から、ポイントを還元する、
　　　　　　通常よりポイントを上乗せしてもよいか選択する。
　　　報酬：ポイント還元・上乗せによる負の報酬と、
　　　　　　還元セールや上乗せにより購入が増えると推測される正の報酬。

　　【解答（例）】
　　　ゲームやボードゲーム
　　　プレイヤーが指す手についての強化学習

###8-2-2 探索と利用のトレードオフ
　　●探索と利用のトレードオフ
　　　環境について事前に完璧な知識があれば、
　　　最適な行動を予測し、決定することは可能である。

　　　⇒どの顧客にキャンペーンメールを送付すると、どの行動するか既知である。
　　　　（そんなことはそうそうない。）

　　　⇒強化学習の場合、そのような仮定は成り立たないとする。
　　　　不完全な知識を元に行動しながらデータ収集し、最適な行動を探索する。

　　●問題になるのは・・・
　　　探索と利用のトレードオフである。

　　　「過去のデータで、ベストとされる行動のみを常に取り続ければ、
　　　　他にもっとベストな行動を見つけることができない。」
　　　　（探索が足りない状態）
　　　　　　　↑
　　　　　トレードオフの関係性
　　　　　　　↓
　　　「既知の行動のみ常に続ければ、過去の経験が活かせない」
　　　　（利用が足りない状態）

　　　どちらの状態も良くなく、トレードオフを上手く調整することが必要。

###8-2-3 強化学習のイメージ
　　●強化学習のイメージ
　　　エージェントがある方策を実施して行動した状態sとなる。
　　　　⇒それを観測し、状態sの報酬価値を受け取る。
　　　という流れ。

　　●関数
　　　方策：方策関数 Π(s,a)で表される。
　　　行動や価値V：行動価値関数 Q(s,a)で表される。

###8-2-4 強化学習の差分
　　●強化学習と、通常の教師あり／教師なし学習との違い

　　　【結論】目標が違う
　　　　・教師あり／なし学習では、データに含まれるパターンを見つけ出す、
　　　　　及び、そのデータから予測することが目標
　　　　・強化学習では、優れた方策を見つけることが目標

###8-2-5 強化学習の歴史
　　●強化学習について
　　　冬の時代があったが、計算速度の進展により大規模な状態を持つ場合でも、
　　　強化学習を可能としつつある。⇒ AlphaGo など

　　●Ｑ学習
　　　行動価値関数を、行動するごとに更新することで学習を進める方法

　　●関数近似法
　　　価値関数や方策関数を関数近似する手法のこと

###8-2-6 行動価値関数
　　●行動価値関数とは
　　　価値を表す関数としては、状態価値関数と行動価値関数の2種類がある。

　　　⇒ある状態の価値に注目：状態価値関数
　　　　状態と価値を組み合わせた価値に注目：行動価値関数

　　●Ｑ学習
　　　行動価値関数を行動のたびに更新することで学習している。

###8-2-7 方策関数
　　●方策関数とは
　　　方策ベースの強化学習手法において、
　　　ある状態でどのような行動を採るのかの価値を与える関数のこと。

　　　⇒この状態であれば、この行動をとる確率が◎◎％といったもの。

###8-2-8 方策勾配法
　　●方策反復法
　　　方策をモデル化して、最適化する手法
　　　$θ^{(t+1)}=θ^{(t)}+ε∇J(θ)$

　　●Ｊとは
　　　方策の良さである。
　　　⇒定義しなければならない。

　　●定義方法
　　　・平均報酬：行動をとった時に生まれる価値全部の平均
　　　・割引報酬和：カッコになればなるほど報酬の加算する割合を減らす（減衰）

　　　⇒定義に対応して、行動価値関数 Q(s,a)の定義を行い、
　　　　方策勾配定理が成り立つ。

$∇_θJ(θ)=\mathbb{E}_{π_θ}[(∇_θlogπ_θ(a|s)Q^π(s,a))]$

　　　⇒Ｑ関数を使って上記のように定義している。

　　●例題解説

　　　正解は(a)
　　　方策をアップデートするのが方策勾配に基づくアルゴリズムである。

　　　方策勾配定理は基本的には下記の２式から導出される。
　　　・状態価値関数　v(s) = sum_a (π(a|s)Q(s,a))
　　　・ベルマン方程式　Q(s,a) = sum_s’(P(s’|s,a)[r(s,a,s’) + γV(s’)]

###8-2-9 論文解説DCGAN
　　●DCGAN
　　　・Deep Convolutional Generative Adversarial Networksという名前。
　　　・CNNのディープなネットワークを使って敵対的学習により画像を生成する。
　　　・例として、実際に存在しないベッドルームの画像をきれいに出力している。
　　　・潜在空間でベクトルとして表現したものからGenerator部分の画像を生成するため、
　　　　「笑顔の女性の顔」から「普通の女性の顔」を引いて、「男性の顔」を足し合わせる。
　　　　⇒「笑顔の男性の顔」を数式的に扱うことができる。
　　　・Generatorの生成部分はランダムな100個の正規分布の値を使って画像生成している。
　　　　⇒生成画像と実際の画像を比較し、Discriminatorというモデルが、
　　　　　その画像が作られたものかを判定する。

　　●例題演習１

　　　正解は(a)0.5

　　●例題演習２

　　　正解は(a)

　　●例題演習３

　　　正解は(a)

###8-2-10 Kaggleについて
　　●Kaggle
　　　・データ分析のコンペティション
　　　・データ分析・AIにおいての世界大会のようなものである。
　　　・Googleが運営している。
　　　・企業等が賞金を出している。
　　　・日本人でも上位に入るチームがある。
　　　・Kaggleへの登録方法。サイトに行けば登録できる。
　　　・コンテスト参加迄の一連の流れ
　　　・Researchが研究目的。
　　　・Featuredが賞金があるコンテスト。
　　　・titanicやmnistなどの初心者向けのコンペがある。
　　　　（データセットが有名なため、不正が発生？順位があてにならない）
　　　・Kernelsで世界のデータサイエンティストの実装を参照できる。
　　　・参加した後の流れ
　　　　よさそうなスコアのものや説明を読んだり、コピーして動かしてみたり、
　　　　データの水増しのやり方を覚えたりすると良い。
　　　・コンペではDiscussionもあるので、知見としてアイディアが共有される。
　　　　有意義な議論があり、とても参考になる。
　　　　KernelやDiscussionを見てみると良い。
　　　・失敗談
　　　　どのコンテストに出るかが難しい。
　　　　⇒データセットとタスクの見極め等
　　　　　データセットの容量が少ないものに出てみるとか、
　　　　　mnistなどGPUを必要としないものに出てみる等。
　　　　Gitを使えれば良いが、スクリプトの管理が難しい。
　　　　管理がごちゃごちゃになる。
　　　　⇒適当に管理しているといけないのでフォルダで管理する。
　　　・自分一人で頑張ろうとして順位が上がらず、モチベーション低下する。
　　　　Kernelを使いこなして参加することで維持できる。
　　　・上位入賞するには、特徴量のパターンが出てきた時に、
　　　　1000個と5000個では5000個の方が良い精度が出るので、
　　　　時間があれば実践を増やすといい。
　　　　シングルモデルは難しく、多数のモデルでアンサンブルが良い。
　　　　色々な特徴量を用意して、精度を上げていく。
　　　　⇒最後にアンサンブルで多様性を出す。

###8-2-11 実践につながるインプット
　　●学習のやり方
　　　プログラミングの習得⇒機械学習
　　　スクリプトベースの学習
　　　Kaggleでの実践⇒実務に活かす。
　　　論文の読み込み。
　　　データ分析やAIはKaggleが良い。