【論文読み】Transformerによる時系列予測

はじめに

こんにちは。論文を読んだ結果の紹介記事です。
今回紹介するのは、「Transformerによる時系列予測」という論文です。

• タイトル： 【論文読み】Transformerによる時系列予測
• 出典： 本田 良司, et al.; 人工知能学会、 2020
• URL： https://www.jstage.jst.go.jp/article/pjsai/JSAI2020/0/JSAI2020_1N4GS1301/_pdf/-char/ja

概要

自然言語処理で発展しているTransformerを、時系列予測に応用できるかを評価。

特徴

• 比較モデル

  • LSTNet
    CNN,RNN,VAR(多変量自己回帰モデル)を合わせRNNにski-connectionまたはattentionを導入
  • MTNet
    時系列依存の情報を記憶、CNN,RNNを内部に蜜。LSTNetより精度が高い

• Transformerによる時系列予測
  最終的に予測したt×D(説明変数の次元)の多変量予測値の内、目的変数の部分のみを数値に戻してdで平均を取り予測値とする。

• 実験データ

  • 1つ目
    • PM2.5濃度を目的変数とし、湿度、温度、気圧、風向、風速、降雪量、降雨量が説明変数
    • 5年分の1時間毎のデータ
  • 2つ目
    • ECMWFの提供している東京地点の予報値と、気象庁のアメダス東京地点の観測値を使って、24時間先までの予測値を計算
    • 予測値は51種類、観測値を含めて52変数のデータ
    • 2017~2019の3年分の1時間毎のデータ、ECMWFの3時間毎予測を内挿
    • 気温を予測

• まとめ
  説明変数が多変量で目的変数が一変量である時系列予測には、Transformerが良い精度を与えうる

想定される適用例

• 多変量時系列の回帰予測全般

参考

• Transformerによる時系列予測