はじめに¹

本紙はTIMESNETの論文解説を行うものです。

TIMESNET: TEMPORAL 2D-VARIATION MODELING FOR GENERAL TIME SERIES ANALYSIS

従来の時系列分析は、1つの周期性しか考慮できないため、気象データのような複数の周期を持つデータには対応できません。そこで、時間系列を2D空間に拡張することで、期間内変動と期間間変動という2種類の時間変動を同時に分析できます。TimesNetは、TimesBlockと呼ばれる新しいモジュールを用いて、多周期性の時間系列を分析します。TimesBlockは、1D時系列を2Dテンソルのセットに変換することで、期間内変動と期間間変動を分離します。

期間内変動と期間間変動とは

期間内変動：同じ周期内の短期的な時間的パターン
期間間変動：連続した異なる周期の長期的な傾向

TimesBlock

FFT for Periods

高速フーリエ変換（FFT）を用いて周期性を発見することで、元の1D時系列データを2Dテンソルに変換します。論文上では、上位３つに分ける

Reshape

高速フーリエ変換（FFT）の戻り値に従い、D時系列を2DテンソルのセットにReshapeします。
paddingをした後で、Reshapeを行います。

Inception Block

ここが、実際に学習を行う部位です。

画像引用元: TimesNet解説まとめ -時系列予測モデル-

Reshape BackとAdaptive Aggregation

最後に2Dテンソルを一次元の時系列データに戻します。
元の長さに切り捨てます。

Adaptive Aggregation処理に関して、以下の数式にあるように、元の時系列データに対して、softmax処理を行い、それを重みとして、Reshape Backした時系列データに掛け合わせます。

\begin{align}
\mathbf{\hat{A}}_{f_1}^{l-1}, \cdots, \mathbf{\hat{A}}_{f_k}^{l-1} &= Softmax(\mathbf{A}_{f_1}^{l-1}, \cdots, \mathbf{A}_{f_k}^{l-1}) \\
X_{1D}^l &= \sum_{i=1}^{k}\mathbf{\hat{A}}_{f_i}^{l-1}\times \hat{X}^{l,i}_{1D}
\end{align}

結果

TimesNetは平均精度73.6%で最高のパフォーマンスを達成し、以前の最先端の古典的な方法Rocket（72.5%）とディープモデルFlowformer（73.0%）を上回っています。

LSTMはもう古いモデルになりました。

実装

まずはライブラリーをimport

import

!pip install neuralforecast > /dev/null 2>&1

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from typing import Tuple

from sklearn import preprocessing
from sklearn.preprocessing import StandardScaler

from google.colab import drive
import time

from neuralforecast.core import NeuralForecast
from neuralforecast.models import NHITS, NBEATS, TimesNet
from neuralforecast.utils import AirPassengersDF

preprocess_dataは、CSVデータを読み込み、時系列分析のための前処理を行い、DataFrameを返します。

preprocess_data

def preprocess_data(data_path):
    """
    CSVデータを読み込み、時系列分析のための前処理を行い、DataFrameを返す。
    Args:
        data_path (str): データを含むCSVファイルへのパス。
    Returns:
        pd.DataFrame: 時系列分析の準備ができた前処理済みの DataFrame。
    """
    df = pd.read_csv(data_path)
    try:
        df['ds'] = pd.to_datetime(df['Date'])
    except pd.errors.OutOfBoundsDatetime:
        print("Error: Date format might be invalid. Please check your data.")
        return None
    df['y'] = preprocessing.scale(df['SP500'])
    df['unique_id'] = 1.0
    df.drop(columns=['Date', 'SP500'], inplace=True)
    df = df.reindex(columns=['unique_id', 'ds', 'y'])
    return df

訓練データとテストデータを作ります。

df_train = preprocess_data(nov_train)
df_test = preprocess_data(nov_test)
df_train.info()

出力されたデータの形式は以下のようになります。
この形式でないと、neuralforecastのモデルの予想はできない。

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 628 entries, 0 to 627
Data columns (total 3 columns):
 #   Column     Non-Null Count  Dtype         
---  ------     --------------  -----         
 0   unique_id  628 non-null    float64       
 1   ds         628 non-null    datetime64[ns]
 2   y          628 non-null    float64       
dtypes: datetime64[ns](1), float64(2)
memory usage: 14.8 KB

modelの予想の処理です。

add_predict_column

def add_predict_column(df, model, input_size):
    """
    df_testにpredict列を追加し返す関数
    Args:
        df_test: テストデータのDataFrame
        model: 予測モデル
        input_size: モデルのinput_size
    Returns:
        predict列を追加したDataFrame
    """
    df_predict = pd.DataFrame()
    for i in range(len(df) - input_size):
        arr = df[i:input_size+i]
        predict = model.predict(df=arr, verbose=True)
        df_predict = df_predict.append(predict)
    return df_predict

訓練と予想のフェーズ

input_size=100
network = [TimesNet(h=1, input_size=input_size, max_steps=100)]
model = NeuralForecast(models=network, freq='D')
model.fit(df=df_train)
df_predict = add_predict_column(df_test, model, input_size)

最後にプロットをします。

import matplotlib.pyplot as plt

plt.figure(figsize=(15, 5))
plt.plot(df_test.ds, df_test.y, label="Actual")
plt.plot(df_predict.ds, df_predict.TimesNet, label="Predictions")
plt.title("Actual vs. Predicted")
plt.legend()
plt.show()

結果

かなり精度が高いです。

'TIMESNET: Temporal 2D-Variation Modeling for General Time Series Analysis'. Haixu Wu, Tengge Hu, Yong Liu, Hang Zhou, Jianmin Wang, Mingsheng Long In International Conference on Learning Representations (ICLR) (pp. 1-23). ↩