Deep Neural Network Ensembles for Time Series Classification 要約
読んだ論文
Deep Neural Network Ensembles for Time Series Classification
Hassan Ismail Fawaz, Germain Forestier, Jonathan Weber, Lhassane Idoumghar and Pierre-Alain Muller
https://arxiv.org/abs/1903.06602v1
上記の論文を読んだので簡単にまとめます．IJCNN 2019に採択されているようです．二日目に読んだ転移学習のやつと，六日目に読んだデータ拡張のやつの著者の人ですね．時系列分類で随分ご活躍の様子です．
3行でまとめる
- 時系列分類問題におけるアンサンブルCNNモデルを提案する．
- おなじみUCR公開データセットで評価して有用性を示した．
提案手法
提案モデル
- 図のように同一の入力時系列から複数のCNNモデルをアンサンブルし，出力を決定するモデルである．
- 6つの異なるアーキテクチャを採用し，最終的には事後確率の平均をとって出力を決定している．
- MLP: 隠れ層が3層のDropoutありMLP
- FCN: Convolution3層からのGlobal Average PoolingでSoftMaxするCNN
- ResNet: ショートカットゲートを導入したResidualブロックを積み上げるCNN
- Encoder: FCNにDropoutとAttentionを拡張した手法
- Multi-Channels DCNN: Convolution-MaxPoolingを積み合わせる手法．普通のCNN．
- Time-CNN: 普通のCNNだが，損失にMSEを使用したもの（普通はCategorical-cross-entropy）．
- 上記6種類を重みの初期化をランダムにして複数並列化して比較．
- 最終的に，FCN，ResNet，Encoderの3つを並列にした様子．
- また，85のデータセットのうちターゲットドメインを除いたソースドメイン84個でここに学習したFCNをアンサンブルした手法とランダム初期化してアンサンブルしたFCNｓの比較も行っていた．
まとめ
- 時系列データのアンサンブルCNN手法を提案した．
所管
本日は帰宅が遅く，24時開始だったので心が折れそうでしたので，簡単そうな手法を読みました．ただ，やっぱりしっかり理解しようとしながら読むと1時間位はかかってしまいますね．精進します．