#はじめに
東京工業大学/株式会社Nospare の栗栖です．この記事では関数データに対するノンパラメトリック回帰分析について紹介します．この記事の内容は主に Masry(2005), Ferraty and Vieu(2006) の内容をもとにしています．

この記事の内容は関数データ分析に関する記事
「関数時系列データの主成分分析(1)」
「関数時系列データの主成分分析(2)」
「関数時系列データの主成分分析(3)」
の続編です．

#モデル

以下のノンパラメトリック回帰モデルを考えます．

\begin{align*}
Y_t &= m(X_t) + e_t,\ t=1,\dots,T.
\end{align*}

ここで，$\{(Y_t,X_t)\}_{t=1}^{T}$ は観測データで $\{e_t\}$ は $E[e_{t}|X_{t}]=0$ を満たす観測誤差，$Y_t$ は実数値，$X_t$ は関数データ，ここでは特にノルム $\| \cdot \|$ をもつノルム空間 B (典型的にはヒルベルト空間やバナッハ空間) に値をとるとします．また $T$ 個のデータは独立または定常な時系列データ($\alpha$-mixing)であるとします．

上記のモデルは線形回帰モデル(パラメトリックモデル)を含んだモデルになっています．
例えば $B = \mathbb{R}^{p}$ の場合，$X_{t} = (X_{1,t},\dots,X_{p,t})'$，$\beta = (\beta_{1},\dots, \beta_{p})' \in \mathbb{R}^{p}$ とすると，通常の線形回帰モデルは

m(X_{t}) = X_{t}'\beta

として表現することができます．
また $B = (H, \langle \cdot, \cdot \rangle)$ (内積 $\langle \cdot, \cdot \rangle$ をもつヒルベルト空間) の場合，$\beta \in H$ とすると，ヒルベルト空間に値をとる変数に対する線形回帰モデルは

m(X_{t}) = \langle X_{t}, \beta \rangle

として表現することができます．例えば，$X_t$が$[0,1]$上の2乗可積分な空間($H = L^2([0,1])$)に値をとるならば，以下のような関数データ分析でよく利用される関数線形回帰モデルの形になります：

m(X_{t}) = \langle X_{t}, \beta \rangle = \int_0^1 X_t(s)\beta(s)ds,\ \beta \in L^2([0,1]).

以下の記事では関数データの具体例とRを利用した分析方法について紹介していますので興味のある方はぜひ参考にしてください．
「関数時系列データの主成分分析(1)」
「関数時系列データの主成分分析(3)」

ノンパラメトリックカーネル推定量

データ$\{(Y_t,X_t)\}_{t=1}^{T}$ を用いてノンパラメトリックな回帰関数 $m$ の推定を考えてみましょう．ここでは特に以下の推定量(Nadaraya-Watson 推定量, NW推定量)を用いて $m$ を推定することを考えます．

\begin{align*}
\widehat{m}(x) &= {\sum_{t=1}^{T}Y_tK(\|x - X_t\|/h) \over \sum_{t=1}^{T}K(\|x - X_t\|/h)},\ x \in B.
\end{align*}

ただし，$K:[0,1] \to [0,\infty)$ は適当な条件を満たすカーネル関数，$h=h_{T} \to 0$ ($T \to \infty$) はバンド幅です．

上記のNW推定量は，$X_{t}$ が実数値 ($\mathbb{R}$) や実数値ベクトル ($\mathbb{R}^{p}$) の場合に，推定量の定義に登場するノルム $\|\cdot\|$ を絶対値やユークリッドノルムに置き換えれば通常のNW推定量と一致します．この意味で $\widehat{m}$ は通常のNW推定量を関数データの枠組みに自然に拡張したものとみることができます．さらに $\widehat{m}(x)$ は以下のように定義することもできます．

\begin{align*}
\widehat{m}(x) &= \text{argmin}_{\theta}\sum_{t=1}^{T}\left(Y_t - \theta\right)^2 K\left(\|x - X_t\|/h\right)
\end{align*}

この定義から，$\widehat{m}(x)$ は局所定数推定量 (local constant estimator) とも呼ばれます．

推定量の性質

以下では $T \to \infty$ の場合における $\widehat{m}$ の漸近的性質 (収束レート，漸近正規性) を紹介します．ここで紹介する結果以外にも，Ferraty and Vieu (2006) では

$\widehat{m}(x)$ の実装に必要なバンド幅 $h$ を交差検証法 (cross validation) で選択する方法，
実データへの応用例として，食肉の品質管理を行う際に得られるデータ ($Y_{t}=$食肉の脂肪分，$X_{t}=$食肉の吸光度スペクトル) の分析例

についても紹介されています．

Small ball probability

関数データに対するNW推定量の解析を行う際，通常のNW推定量の解析と大きく異なる点として，small ball probability の概念が挙げられます．$B(x,h)$ を $x \in B$ を中心とする半径 $h$ の球，即ち $B(x,h) = \{y \in B: \|x - y\| \leq h\}$ とすると，$x$ を中心とする $X_t$ の small ball probability は $P(X_t \in B(x,h))$ で定義されます．

特に以下では $X_{t}$ の small ball probability が以下の条件を満たすことを仮定します．任意の $t \geq 1$ に対して，

0< c\phi(h)f_1(x) \leq P(X_t \in B(x,h)) \leq C\phi(h)f_1(x),

ここで $\phi(h) \to 0$ ($h \to 0$), $f_1(x)$ は $x \in B$ にのみ依存する関数です (より詳しい議論については Masry (2005)を参照)．上記の仮定は推定量 $\widehat{m}$ の分散を評価する際に必要になります．

ノルム空間 $B$ が $B = \mathbb{R}^{p}$ の場合，$X_{t}$ の(定常)分布が確率密度 $f(x)$ をもてば small probability は

\begin{align*}
P(X_t \in B(x,h)) &\approx f(x)h^{p} 
\end{align*}

という近似が成り立ちますが，一般の関数データ場合，$X_{t}$ の分布は $B = \mathbb{R}^{p}$ の場合のような通常の意味での"密度関数"をもたないため，ここで導入した small ball probability が推定量の性質の解析において重要になります．例えば $B = C([0,1])$ ($[0,1]$ 上で定義された連続関数全体，$\|x \| = \sup_{s \in [0,1]}|x(s)|$) の場合，$X_{t}(s)$ が $s \in [0,1]$ 上で定義された Ornstein-Uhlenbeck 過程ならば $\phi(h) \sim \exp \left(-h^{-2}\right)$ となることが知られています (Ferraty and Vieu (2006), Section 13)．関数データの密度関数については Delaigle and Hall (2010) でも詳しく議論されています．

回帰関数の滑らかさ

回帰関数 $m$ は以下の条件を仮定します．任意の $x' \in B(x,1)$ に対して，$\beta>0$, $C>0$ が存在して

|m(x) - m(x')| \leq C\|x- x'\|^{\beta}

を満たす．この条件は推定量 $\widehat{m}$ のバイアスを評価する際に必要になります．
既に挙げた $B = \mathbb{R}^{p}$, $(H, \langle \cdot, \cdot \rangle)$ の場合の線形回帰モデルでは特に $\beta = 1$ となります．

一致性(収束レート)

Ferraty and Vieu (2006) では $\{(Y_t, X_{t})\}_{t=1}^{T}$ が独立な場合，定常な時系列データの場合における $\widehat{m}$ の収束レートが与えられています．特に，データが独立な場合，適当な条件の下で以下の結果が得られます (Theorem 6.11)．

\begin{align*}
\widehat{m}(x) - m(x) &= O(h^{\beta}) + O_{p}\left(\sqrt{\log T \over T\phi(h)}\right).
\end{align*}

上記の収束レートにおいて，第1項がバイアス項，第2項が分散項に対応します．

この記事ではノンパラメトリック回帰 ($X_t$ を与えた時の $Y_{t}$ の条件付き期待値 $m(x) = E[Y_{t}|X_{t} = x]$) について紹介しましたが，Ferraty and Vieu (2006) では他にも $X_t$ を与えた時の $Y_{t}$ の条件付きモード，メディアン，分位点のノンパラメトリック推定とその収束レートについても議論されています．

漸近正規性

Masry (2005) では Ferrary and Vieu (2006) の解析を一歩進め，$\{(Y_t, X_{t})\}_{t=1}^{T}$ が定常な時系列 ($\alpha$-mixing) の場合に (Ferrary and Vieu (2006) よりも少し制約的な条件の下で) $\widehat{m}$ の漸近正規性を示しています (Theorem 5)．

\sqrt{T\phi(h)}(\widehat{m}(x) - m(x) - B_T(x)) \stackrel{d}{\to} N(0, V(x)).

ここで $B_T(x) = O(h^{\beta})$ は $\widehat{m}(x)$ のバイアス項，$V(x)$ は ($\widehat{m}(x)$ の漸近分散)$\times (T\phi(h))$ の極限です．

Kurisu (2022) では Masry (2005) の定常な関数時系列データに対する結果を非定常な関数時系列データに拡張した結果を導出しています．この点に関しては別の記事でより詳しく解説する予定です．

#まとめ
この記事では関数データに対するノンパラメトリック回帰分析 (NW推定量, 局所定数推定量とも呼ばれる)について解説しました．「ノンパラメトリック関数回帰(2)」では関数時系列データに対する局所線形ノンパラメトリック回帰について紹介する予定です．

株式会社Nospareには統計学の様々な分野を専門とする研究者が所属しております．統計アドバイザリーやビジネスデータの分析につきましては株式会社Nospare までお問い合わせください．

参考文献
[1] Delaigle, A. and Hall, P. (2010). Defining probability density for a distribution of random functions. Annals of Statistics 38, 1171-1193.
[2] Ferraty, F. and Vieu, P. (2006). Nonparametric Functional Data Analysis: Theory and Methods. Springer.
[3] Kurisu, D. (2022). Nonparametric regression for locally stationary functional time series. arXiv:2105.07613. forthcoming in Electronic Journal of Statistics.
[4] Masry, E. (2005). Nonparametric regression for dependent functional data: asymptotic normality. Stochastic Processes and their Applications. 115, 155-177.