深層学習（後編 2）：「終了テスト」

講義やテキストであまり具体的に触れられていない領域の理解が足りず、そこで間違いが多く発生していた。以下主要な間違ポイントを整理する。
ResNet
残差ブロックでは、畳み込み層とSkip Connection層の組み合わせ構造となっており残差写像関数にIdentify関数を加えた値を数式として使用する。
R-CNN
物体候補領域画像をリサイジングして使用する。
FCN
ネットワーク全体が畳み込み層のみで構成されている。
VAE
VAEは事後分布へ近似させる
ニュートン法
ニュートン法では勾配降下法より少ない回数で収束するが、ヘッセ行列の逆行列を繰り返し計算する必要があるため計算コストが高い。
共役勾配法
共役勾配法はニュートン法と比べて計算コストが低いが、勾配降下法と比べて収束が早い
ハイパーパラメータの探索
ハイパーパラメータの探索方法として、グリッドサーチ、ランダムサーチ、ベイズ最適化がある。