当記事では下記に基づいて直交関数系を用いた最小二乗近似からフーリエ級数の式の導出を確認します。
前提の確認
直交関数系
フーリエ級数の式
関数$f(x)$の区間$[-\pi, \pi]$上のフーリエ級数は下記のように表すことができる。
\begin{align}
f(x) & \simeq \frac{a_{0}}{2} + a_{1} \cos{x} + b_{1} \sin{x} + a_{2} \cos{2x} + b_{2} \sin{2x} + \cdots \\
a_{k} &= \frac{1}{\pi} \int_{-\pi}^{\pi} f(x) \cos{kx} dx \\
b_{k} &= \frac{1}{\pi} \int_{-\pi}^{\pi} f(x) \sin{kx} dx
\end{align}
最小二乗近似の式からのフーリエ級数の導出 (直交関数系)
最小二乗近似の式
\begin{align}
J = \frac{1}{2} \int_{a}^{b} \left( f(x) - \sum_{k=1}^{n} c_{k} \phi_{k}(x) \right)^{2} dx \longrightarrow \mathrm{minimize}
\end{align}
上記の$c_{i}$による偏微分は下記のように導出できます。
\begin{align}
\frac{\partial J}{\partial c_{i}} &= \frac{1}{2} \frac{\partial}{\partial c_{i}} \int_{a}^{b} \left( f(x) - \sum_{k=1}^{n} c_{k} \phi_{k}(x) \right)^{2} dx \\
&= \frac{1}{2} \int_{a}^{b} \frac{\partial}{\partial c_{i}} \left( f(x) - \sum_{k=1}^{n} c_{k} \phi_{k}(x) \right)^{2} dx \\
&= \frac{1}{\cancel{2}} \int_{a}^{b} \cancel{2} \left( f(x) - \sum_{k=1}^{n} c_{k} \phi_{k}(x) \right) \times \left( - \phi_{i}(x) \right) dx \\
&= -\int_{a}^{b} \left( f(x) - \sum_{k=1}^{n} c_{k} \phi_{k}(x) \right) \phi_{i}(x) dx \\
&= \sum_{k=1}^{n} c_{k} \int_{a}^{b} \phi_{k}(x)\phi_{i}(x) dx - \int_{a}^{b} f(x) \phi_{i}(x) dx
\end{align}
上記の式に基づいて$i=1, \cdots , n$に関する式を並べると下記の正規方程式が得られます。
\begin{align}
\left(\begin{array}{c} \displaystyle \frac{\partial J}{\partial c_{1}} \\ \vdots \\ \displaystyle \frac{\partial J}{\partial c_{n}} \end{array} \right) = \left(\begin{array}{c} \displaystyle \sum_{k=1}^{n} c_{k} \int_{a}^{b} \phi_{k}(x)\phi_{1}(x) dx - \int_{a}^{b} f(x) \phi_{1}(x) dx \\ \vdots \\ \displaystyle \sum_{k=1}^{n} c_{k} \int_{a}^{b} \phi_{k}(x)\phi_{n}(x) dx - \int_{a}^{b} f(x) \phi_{n}(x) dx \end{array} \right) &= \left(\begin{array}{c} 0 \\ \vdots \\ 0 \end{array} \right) \\
\left(\begin{array}{c} \displaystyle \sum_{k=1}^{n} c_{k} \int_{a}^{b} \phi_{k}(x)\phi_{1}(x) dx \\ \vdots \\ \displaystyle \sum_{k=1}^{n} c_{k} \int_{a}^{b} \phi_{k}(x)\phi_{n}(x) dx \end{array} \right) &= \left(\begin{array}{c} \displaystyle \int_{a}^{b} f(x) \phi_{1}(x) dx \\ \vdots \\ \displaystyle \int_{a}^{b} f(x) \phi_{n}(x) dx \end{array} \right) \\
\left(\begin{array}{ccc} \displaystyle \int_{a}^{b} \phi_{1}(x)^{2} dx & \cdots & \displaystyle \int_{a}^{b} \phi_{1}(x)\phi_{n}(x) dx \\ \vdots & \ddots & \vdots \\ \displaystyle \int_{a}^{b} \phi_{n}(x)\phi_{1}(x) dx & \cdots & \displaystyle \int_{a}^{b} \phi_{n}(x)^{2} dx \end{array} \right) \left(\begin{array}{c} c_{1} \\ \vdots \\ c_{n} \end{array} \right) &= \left(\begin{array}{c} \displaystyle \int_{a}^{b} f(x) \phi_{1}(x) dx \\ \vdots \\ \displaystyle \int_{a}^{b} f(x) \phi_{n}(x) dx \end{array} \right) \quad (2)
\end{align}
ここで$\phi_{1}(x), \cdots , \phi_{n}(x)$が区間$[a,b]$上の直交関数系であるとき下記が成立します。
\begin{align}
\int_{a}^{b} \phi_{i}(x)\phi_{j}(x) dx = 0 \qquad i \neq j
\end{align}
したがって$\phi_{1}(x), \cdots , \phi_{n}(x)$が区間$[a,b]$上の直交関数系であるとき$(1)$式は下記のように変形できます。
\begin{align}
\left(\begin{array}{ccc} \displaystyle \int_{a}^{b} \phi_{1}(x)^{2} dx & \cdots & \displaystyle \int_{a}^{b} \phi_{1}(x)\phi_{n}(x) dx \\ \vdots & \ddots & \vdots \\ \displaystyle \int_{a}^{b} \phi_{n}(x)\phi_{1}(x) dx & \cdots & \displaystyle \int_{a}^{b} \phi_{n}(x)^{2} dx \end{array} \right) \left(\begin{array}{c} c_{1} \\ \vdots \\ c_{n} \end{array} \right) &= \left(\begin{array}{c} \displaystyle \int_{a}^{b} f(x) \phi_{1}(x) dx \\ \vdots \\ \displaystyle \int_{a}^{b} f(x) \phi_{n}(x) dx \end{array} \right) \quad (1) \\
\left(\begin{array}{cccc} \displaystyle \int_{a}^{b} \phi_{1}(x)^{2} dx & 0 & \cdots & 0 \\ 0 & \displaystyle \int_{a}^{b} \phi_{2}(x)^{2} dx & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ \displaystyle \int_{a}^{b} 0 & 0 & \cdots & \displaystyle \int_{a}^{b} \phi_{n}(x)^{2} dx \end{array} \right) \left(\begin{array}{c} c_{1} \\ c_{2} \\ \vdots \\ c_{n} \end{array} \right) &= \left(\begin{array}{c} \displaystyle \int_{a}^{b} f(x) \phi_{1}(x) dx \\ \vdots \\ \displaystyle \int_{a}^{b} f(x) \phi_{n}(x) dx \end{array} \right) \\
\left(\begin{array}{c} \displaystyle c_{1} \int_{a}^{b} \phi_{1}(x)^{2} dx \\ \vdots \\ \displaystyle c_{n} \int_{a}^{b} \phi_{n}(x)^{2} dx \end{array} \right) &= \left(\begin{array}{c} \displaystyle \int_{a}^{b} f(x) \phi_{1}(x) dx \\ \vdots \\ \displaystyle \int_{a}^{b} f(x) \phi_{n}(x) dx \end{array} \right)
\end{align}
フーリエ級数の係数の導出
関数$\cos{kx}$と$\sin{kx}$は区間$[-\pi, \pi]$上で直交関数系であるので、$(2)$式より前節のフーリエ級数の係数の式を得ることができます。
\begin{align}
a_{k} &= \frac{\displaystyle \int_{-\pi}^{\pi} f(x) \cos{kx} dx}{\displaystyle \int_{-\pi}^{\pi} \cos^{2}{kx} dx} \\
&= \frac{\displaystyle \int_{-\pi}^{\pi} f(x) \cos{kx} dx}{\displaystyle \frac{1}{2} \int_{-\pi}^{\pi} (1+\cos{2kx}) dx} \\
&= \frac{1}{\pi} \int_{-\pi}^{\pi} f(x) \cos{kx} dx \\
b_{k} &= \frac{\displaystyle \int_{-\pi}^{\pi} f(x) \cos{kx} dx}{\displaystyle \int_{-\pi}^{\pi} \sin^{2}{kx} dx} \\
&= \frac{\displaystyle \int_{-\pi}^{\pi} f(x) \cos{kx} dx}{\displaystyle \frac{1}{2} \int_{-\pi}^{\pi} (1-\cos{2kx}) dx} \\
&= \frac{1}{\pi} \int_{-\pi}^{\pi} f(x) \sin{kx} dx
\end{align}