5日目: LSTM Fully Convolutional Networks for Time Series Classification

LSTM Fully Convolutional Networks for Time Series Classification 要約

読んだ論文

LSTM Fully Convolutional Networks for Time Series Classification
FAZLE KARIM, SOMSHUBRA MAJUMDAR, HOUSHANG DARABI, SHUN CHEN,
https://ieeexplore.ieee.org/document/8141873
上記の論文を読んだので簡単にまとめます．IEEE ACCESS, 6, 2018です．

3行でまとめる

• FCN (Fully Convolutional Networks)が時系列分類データ問題で強力な成果を上げている．
• FCNに対してAttention LSTMを並列で結合したモデル（LSTM FCN）を提案する．
• 85 UCR time series datasetsを用いて各種state-of-the-art手法と比較を行いおおむね精度で勝った．

提案手法

使用モデル

• FIGURE1のようにシンプルなFCN（下段）に加えて，次元シャッフルして通常のLSTMかAttentionLSTMに接続される（これは普通のLSTMとAttentionLSTM両方で評価しているということ．ついでに転移学習（Refinementと書かれている）の評価も含めて4種類出している）．
• FCNとは全てConvで構成されるCNNである．
• 最終的にはFCNとLSTMそれぞれをGlobal Average PoolingしてconcatしてFully-connectedする．
• 次元シャッフルしないと早期に過学習して大幅に精度が落ちるらしい．
• また，次元シャッフルすることで学習速度が大幅に向上するらしい．

評価実験

• 85 UCR time series datasets¹を用いて提案手法を評価した．
• 各種state-of-the-artな手法と比較して少なくとも43データセットで提案手法の方が精度が高かった．
• 各種state-of-the-artな手法の精度はそれぞれのデータセットごとに引用してきている様子（Table1内で引用されている）．
• 続いて，Wilcoxonの符号順位検定で提案手法と各手法の検定を行っている．
• 結果として提案手法は様々なベースライン手法²と比較して有意差があった（符号は問わない）．
• というか，この引用論文²様々な手法で精度出してくれているのでBaselineを引用するのにとても使いやすそう．

まとめ

• 時系列分類問題において，FCNだけでなくLSTMを並列利用することで精度が上がることを提案した論文である．

所管

今回は1時間くらいで読めました．本稿の実験はGTX 1080Ti一つでやっている様子で，頑張ったなぁという印象です．ただ時系列分類は基本Conv1Dなのでそこまでマシンパワーに依存せずモデル検証ができます．

1. Y. Chenet al.(Jul. 2015).The UCR Time Series Classification Archive.[Online]. Available: http://www.cs.ucr.edu/~eamonn/time_series_data/ ↩

2. Z. Wang, W. Yan, and T. Oates, ‘‘Time series classification from scratchwith deep neural networks: A strong baseline,’’ inProc. Int. Joint Conf.Neural Netw. (IJCNN), May 2017, pp. 1578–1585. ↩ ↩²