#はじめに
東京工業大学/株式会社Nospare の栗栖です．この記事では関数データに対するノンパラメトリック回帰分析に関する最近の研究成果 (Kurisu (2022)) について紹介します．

この記事の内容は関数データ分析に関する記事
「ノンパラメトリック関数回帰(1)」
「ノンパラメトリック関数回帰(2)」
の続編です．

#モデル

以下のノンパラメトリック回帰モデルを考えます．

\begin{align*}
Y_{t,T} &= m\left({t \over T}, X_{t,T}\right) + \sigma\left({t \over T}, X_{t,T}\right)e_t,
\end{align*}

$t=1,\dots, T$. ここで，$\{(Y_{t,T},X_{t,T})\}_{t=1}^{T}$ は観測データで $\{e_t\}$ は $E[e_{t}]=0$ を満たす独立同分布かつ $\{X_{t,T}\}_{t=1}^{T}$ と独立な観測誤差，$Y_{t,T}$ は実数値，$X_{t,T}$ はノルム $\| \cdot \|$ をもつノルム空間 B (典型的にはヒルベルト空間やバナッハ空間) に値をとるとします．また $T$ 個のデータは独立または定常な時系列データ($\alpha$-mixing)であるとします．

上記のモデルは線形回帰モデル(パラメトリックモデル)を含んだモデルになっています．
例えば $B = \mathbb{R}^{p}$ の場合，$X_{t,T} = (X_{t,T}^{(1)},\dots,X_{t,T}^{(p)})'$，$\beta = (\beta_{1},\dots, \beta_{p})' \in \mathbb{R}^{p}$ とすると，通常の線形回帰モデルは

m\left({t \over T},X_{t,T}\right) = X_{t,T}'\beta

として表現することができます．また時間の変化に伴って回帰係数も変化するモデルも扱うことができます．$\beta(u) = (\beta_{1}(u),\dots, \beta_{p}(u))'$, $u \in [0,1]$ を $u$ に関して滑らかなベクトル値関数とすると，

m\left({t \over T},X_{t,T}\right) = X_{t,T}'\beta\left({t \over T}\right)

として係数変化モデルが表現できます．更にノンパラメトリックな加法モデルも表現することができます．

m\left({t \over T},X_{t,T}\right) = \sum_{i=1}^{p} m_{i}\left({t \over T}, X_{t,T}^{(i)}\right).

また $B = (H, \langle \cdot, \cdot \rangle)$ (内積 $\langle \cdot, \cdot \rangle$ をもつヒルベルト空間) の場合，$\beta(u, \cdot) \in H$, $u \in [0,1]$ とすると，ヒルベルト空間に値をとる変数に対する係数変化線形回帰モデルは

m\left({t \over T}, X_{t}\right) = \left\langle X_{t,T}, \beta\left({t \over T}\right) \right\rangle

として表現することができます．

非定常関数時系列データ

この研究では，非定常な関数時系列データを扱うために，関数時系列データに対して局所定常性 (local stationarity) を導入します．

局所定常関数時系列データ

関数時系列データ $\{X_{t,T}\}$ が局所定常であることの定義は以下の通りです．

各 $u \in [0,1]$ に対して定常な関数時系列 $\{X_{t}^{(u)}\}$ が存在して
以下関係が成り立つ：

\|X_{t,T} - X_{t}^{(u)}\| \leq \left(\left|{t \over T} -u\right|+{1 \over T}\right) U_{t,T}^{(u)},

ここで $U_{t,T}^{(u)}$ は $E[U_{t,T}^{(u)}]<\infty$ を満たす確率変数です．

直感的には，局所定常性とはその名の通り，(一定の精度で) 局所的に定常な関数時系列で近似できることを意味します．

ノンパラメトリックカーネル推定量

データ$\{(Y_{t,T},X_{t,T})\}_{t=1}^{T}$ を用いてノンパラメトリックな回帰関数 $m(u,x)$ の推定を考えてみましょう．ここでは特に以下の推定量(Nadaraya-Watson 推定量, NW推定量)を用いて $m(u,x)$ を推定することを考えます．

\begin{align*}
\widehat{m}(u,x) &= {\sum_{t=1}^{T}Y_{t,T}K_{1}((u-t/T)/h)K_{2}(\|x - X_{t,T}\|/h) \over \sum_{t=1}^{T}K_{1}((u-t/T)/h)K_{2}(\|x - X_{t,T}\|/h)},\ u \in (0,1),\ x \in B.
\end{align*}

ただし，$K_{1}: [-C_1,C_1] \to [0,\infty)$ ($C_1>0$)，$K_{2}:[0,1] \to [0,\infty)$ は適当な条件を満たすカーネル関数，$h=h_{T} \to 0$ ($T \to \infty$) はバンド幅です．

上記のNW推定量は，独立または定常な関数データに対するNW推定量と異なり，時間に関する局所的な変化をとらえるためにカーネル関数 $K_{1}$ を導入してる点で Masry (2005), Ferraty and Vieu (2006) の関数データのノンパラメトリック回帰を非定常な関数データの枠組みに自然に拡張したものとみることができます．

推定量の性質

以下では $T \to \infty$ の場合における $\widehat{m}(u,x)$ の漸近的性質 (一様収束レート，漸近正規性) を紹介します．

Small ball probability

関数データに対するNW推定量の解析を行う際，通常のNW推定量の解析と大きく異なる点として，small ball probability の概念が挙げられます．$B(x,h)$ を $x \in B$ を中心とする半径 $h$ の球，即ち $B(x,h) = \{y \in B: \|x - y\| \leq h\}$ とすると，$x$ を中心とする $X_{t}^{(u)}$ の small ball probability は $P(X_{t}^{(u)} \in B(x,h))$ で定義されます．

特に以下では $X_{t}^{(u)}$ の small ball probability が以下の条件を満たすことを仮定します．任意の $u \in [0,1]$ に対して，

0< c\phi(h)f_1(x) \leq P(X_{t}^{(u)} \in B(x,h)) \leq C\phi(h)f_1(x),

ここで $\phi(h) \to 0$ ($h \to 0$), $f_1(x)$ は $x \in B$ にのみ依存する関数です (より詳しい議論については Kurisu (2022)を参照)．上記の仮定は推定量 $\widehat{m}(u,x)$ の分散を評価する際に必要になります．

回帰関数の滑らかさ

回帰関数 $m$ は以下の条件を仮定します．任意の $x' \in B(x,1)$ に対して，$\beta>0$, $C>0$ が存在して

\sup_{u \in [0,1]}|m(u,x) - m(u,x')| \leq C\|x- x'\|^{\beta}

を満たす．この条件は推定量 $\widehat{m}$ のバイアスを評価する際に必要になります．
既に挙げた $B = \mathbb{R}^{p}$, $(H, \langle \cdot, \cdot \rangle)$ の場合の線形回帰モデルでは特に $\beta = 1$ となります．

一致性(一様収束レート)

Masry (2005), Ferraty and Vieu (2006) では $\{(Y_{t,T}, X_{t,T})\}_{t=1}^{T}$ が独立な場合，定常な時系列データの場合における $\widehat{m}$ の各 $x$ における収束レートが与えられています．Kurisu (2022) では $u$ に関して一様な $\widehat{m}(u,x)$ の一様収束レートを与えています．実際，適当な条件の下で以下の結果が得られます (Theorem 3.1)．

\begin{align*}
\sup_{u \in [C_{1}h,1-C_{1}h]}\left|\widehat{m}(u,x) - m(u,x)\right| &= O(h^{\beta}) + O_{p}\left(\sqrt{\log T \over Th\phi(h)}\right).
\end{align*}

ただし，$C_{1}$ は $T$ に依存しない正の定数です．上記の収束レートにおいて，第1項がバイアス項，第2項が分散項に対応します．

漸近正規性

さらに，(少し制約的な条件の下で) $\widehat{m}(u,x)$ の漸近正規性を示すことができます (Theorem 3.2)．

\sqrt{Th\phi(h)}(\widehat{m}(u,x) - m(u,x) - B_T(u,x)) \stackrel{d}{\to} N(0, V(u,x)).

ここで $B_T(u,x) = O(h^{\beta})$ は $\widehat{m}(u,x)$ のバイアス項，$V(u,x)$ は ($\widehat{m}(u,x)$ の漸近分散)$\times (Th\phi(h))$ の極限です．

上記の結果 (一様収束レート，漸近正規性) は Masry (2005), Ferraty and Vieu (2006) の定常な関数時系列データに対する結果を非定常な関数時系列データに拡張した結果となっています．

#まとめ
この記事では Kurisu (2022) の結果をもとに，非定常な関数データに対するノンパラメトリック回帰分析 (NW推定量, 局所定数推定量とも呼ばれる)について解説しました．関連テーマについても今後解説記事を書く予定です．

株式会社Nospareには統計学の様々な分野を専門とする研究者が所属しております．統計アドバイザリーやビジネスデータの分析につきましては株式会社Nospare までお問い合わせください．

参考文献
[1] Ferraty, F. and Vieu, P. (2006). Nonparametric Functional Data Analysis: Theory and Methods. Springer.
[2] Kurisu, D. (2022). Nonparametric regression for locally stationary functional time series. Electronic Journal of Statistics. 16, 3973-3955 arXiv:2105.07613.
[3] Masry, E. (2005). Nonparametric regression for dependent functional data: asymptotic normality. Stochastic Processes and their Applications. 115, 155-177.