統計検定DSエキスパートチートシート（その２：数学基礎）

統計検定DSエキスパートの取得に向け勉強用（2023年12月時点でまだテストには合格していません）に整理しているチートシートです。DSエキスパートのシラパスは公開されていいますが、その範囲は膨大です。いくつかのパートに区切って順次チートシートを整理して行きたいと思いいますが、今回は「数学基礎」になります。　　
※一部、未整理の部分がありますが、順次埋めていきます。また、誤り等があればご指摘ください。順次ブラッシュアップしていきます。

数学基礎

 

線形代数

 

行列

• 三角行列
  ピタゴラスの基本三角関数公式

     \sin^{\hspace{1mm}2}\theta +\cos^{\hspace{1mm}2}\theta =1 
  

  加法定理

  $$\sin(x \pm y) = \sin{x} \cos{y} \pm \cos{x} \sin{y} $$
  $$\cos(x \pm y) = \cos{x} \cos{y} \mp \sin{x} \sin{y} $$
  $$\tan(x \pm y) = \frac{\tan{x} \pm \tan{y}}{1 \mp \tan{x} \tan {y}} $$

• 直交行列
  　　　転置行列と逆行列が等しくなる正方行列。

  A^{T}A \hspace{1mm} = \hspace{1mm} AA^{T} \hspace{1mm} = \hspace{1mm} \mathbb{I} , \hspace{10mm} \mathbb{I} \hspace{1mm}は単位行列
  

• 行列とその逆行列の積の可換性

A^{−1}A \hspace{1mm}　= \hspace{1mm} AA^{−1} \hspace{1mm}　= \hspace{1mm} \mathbb{I} , \hspace{10mm} \mathbb{I} \hspace{1mm}は単位行列

• （行列の）基本変形
  後日記載予定
   
• ランク（階数）
  m ✖️ n行列Aに対し、Aを行基本形式で階段行列に変形した時の０でない行の個数をランクといい、$rank A$で表す。

[参考]

行基本変形 (elementary row operation) とは以下の3つの操作を行うことをいう。
1.行を定数倍する
2.ある行と他の行を入れ替える
3.ある行に他の行の定数倍を加える

[参考]

• 簡約な行列
  次の 4 つのルールを満たす行列を簡約化行列 (reduced row echelon form, rref) という。

1. 主成分が1である。
2. 主成分を持つ列の主成分を除く全ての成分が0である。
3. 右側の列に行くほど主成分が下側にある。
4. 全ての成分が0である行が、0以外の値を含む行よりも下側にある。
   ✳︎それぞれの行の最初に現れる 0でない成分を、 行列の主成分 (leading entry) という。

簡約化されていない行列を行基本変形し簡約化された行列にすることを「行列の簡約化」という。

• トレース
  $A = (a_{ij})$を n 次正方行列としたとき、対角成分の和を行列のトレース（tr A）という。

tr\hspace{1mm}A \hspace{1mm}=\hspace{1mm} \sum_{k=1}^{n}a_{kk}

[参考]

データ記述と線形代数

• all-ones ベクトル
  全ての要素が1のベクトル

• 偏差ベクトル
  各データが平均からどのように乖離しているかを示したベクトル。

• ２つの偏差ベクトルの内積

2つの偏差ベクトルの内積は共分散行列と等しくなる

ポイント
重回帰分析での$X^{T}X$は、サンプル数が左上(1,1)に、各データの共分散は１列を除いた２列目以降に参照する。

• 射影行列
  ベクトル空間内のベクトルを別のベクトル空間に射影する線形変換を表す正方行列。
  次の性質を持つ。

• P² = P (自分自身を2度かけると元の行列に戻る）
• Pはエルミート（または実対称）行列である
• Px = y はxがPが表す部分空間上に射影されたベクトルであることを意味する

 

• 回帰分析における予測値ベクトルと残差ベクトル
  後日記載予定

固有値と固有ベクトル

• 対称行列の固有値

• 固有値は実数である
• 固有ベクトル同士は直交する
• 固有ベクトルは正規化される

• 固有ベクトル

n次の正方行列Aが与えられた場合、ベクトルvが固有ベクトルであるとは、以下の条件を満たす非零ベクトルv。

$$ A * \vec{v} = \lambda * \vec{v} \hspace{5mm},\lambdaは固有値 $$

• 対称行列の対角化
  実対称行列は直交行列（ $ U^{T} U = U U^{T} = I_{p} $ となるp次正方行列）で対角化可能である。
  つまり分散共分散行列や相関行列は対角化が可能である。
   
• スペクトル分解

$$ S = \sum_{j=1}^{r} \lambda_{j} u_{j}u_{j}^{T} $$

• 二次形式と(半)正定値行列
  後日記載予定
   
• 特異値分解
  平均偏差行列の特異値分解

$$ X_{c}^{T} = \sum_{j=1}^{r} \sqrt{\xi_{j}} u_{j}v_{j}^{T} \
\hspace{10mm} $$
$$ r はX の階数 、 j,k=1, ...,rに対して \xi=(n-1)\lambda > 0 $$

n次元ユークリッド空間

• n次元空間上の点の表現
  後日記載予定
   

• 線形部分空間と基底・次元
  後日記載予定
   

• 行列のランクとその列空間の次元
  後日記載予定
   

• 同次方程式
  微分に関する項を左辺に持ってきたとき、右辺がゼロとなる時を同次法定式という。

• 係数行列
  線型方程式の集合における変数の係数からなる行列

• 解空間
  右辺が0となる連立1次方程式の解の集合が作る部分ベクトル空間

• 解の一意性　
  連立一次方程式がただ一つ解をもつ条件。
  解の一意性 ⟺　 rank A = n (Aはm×nの行列）

• 正規直交基底
  n次元ベクトル空間Vの基底 $ \vec{v}_1, \vec{v}_2, \ldots , \vec{v}_n$ の内積が違いに直交しノルムが１の時、すなわち以下の条件を満たすもの。

(\vec{v}_i, \vec{v}_j) = \left\{
\begin{array}{ll}
0 & (i \neq j) \\
1 & (i = j)
\end{array}
\right.

= \delta_{ij} (クロネッカーのデルタ）

• (グラム）シュミットの直交化
  与えられた一次独立なベクトル $ a_{1},a_{2},\dots,a_{n} $ から、 正規直交系 $ e_{1},e_{2},\dots,e_{n} $ を作る方法。

３次元の場合の例。

• Step1
  $ e_{1} = \frac{|a_{1}|}{a_{1}} $
• Step2
  $ v_{2} = a_{2} - ( a_{2} \cdot e_{1} ) e_{1} , e_{2} = \frac{|v_{2}|}{v_{2}} $
• Step3
  $ v_{3} = a_{3} - ( a_{3} \cdot e_{1} ) e_{1} - ( a_{3} \cdot e_{2} ) e_{2} , e_{3} = \frac{|v_{3}|}{v_{3}} $

• 射影と直交成分
  後日記載予定
   

数値計算と線形代数

• LU 分解
  正方行列 A を下三角行列と上三角行列との積によって $ A = LU $ で表わす。

A = 
\begin{pmatrix}
5 & 6 & 7 \\
10 & 20 & 23 \\
15 & 50 & 67 \\
\end{pmatrix}
\\
A = 
\begin{pmatrix}
1 & 0 & 0 \\
2 & 1 & 0  \\
3 & 4 & 1 \\
\end{pmatrix}
\begin{pmatrix}
5 & 6 & 7 \\
0 & 8 & 9  \\
0 & 0 & 10 \\
\end{pmatrix}

[参考]

• QR 分解
  QR分解（QR decomposition）とは、行列AをA=QR、Qは直交行列(ユニタリ行列）、Rは上三角行列という積の形に分解する。

ex. A = 
\begin{pmatrix}
0 & 1 \\
1 & 1
\end{pmatrix}

\begin{align}
&列ベクトルからシュミットの直交化法によって正規直交基底 q_1=(0, 1), q_2=(1, 0) を作る。\\
&R = Q^T A = 
\begin{pmatrix}
q_1^T \\
q_2^T
\end{pmatrix}
(a_1, a_2) \\
&= \begin{pmatrix}
<q_1, a_1> &  <q_1, a_2>\\
<q_2, a_1> &  <q_2, a_2>
\end{pmatrix}
= \begin{pmatrix}
1 &  1\\
0 &  1
\end{pmatrix}
\\
\\
&<q_n, a_n>は内積を示す
\end{align}

[参考]

• 反復法
  後日記載予定
   

微積分

1変数関数の微分法

• 極大・極小と導関数

• 極値の必要条件: f(x)が x = a が極大または極小 -> f'(a) = 0
• 極小の十分条件: f'(a) = 0 かつ f''(a) > 0 -> x = a　で極小
• 極大の十分条件: f'(a) = 0 かつ f''(a) < 0 -> x = a　で極大

[参考]

• テイラー展開

$$ f(x) = f(x_{0}) + f'(x_{0})(x - x_{0}) + \frac{1}{2!} f''(x_{0}(x - x_{0})^{2} + \cdots = \sum_{n=0}^{\infty} \frac{f^{(n)} (x_{0})}{n!} (x - x_{0})^{n} $$
$$ x_{0} = 0 の場合をマクローリン展開という $$

• 方程式の数値的解法
  後日記載予定
   

• 反復法
  数値解析分野における手法のうち、反復計算を用いるものの総称。二分法やニュートン法などがある。
   

• 二分法
  下記の反復計算を行う。

• $ f(\frac{1}{2} (a_{n-1} + b_{n-1})) < 0のとき$
  $ a_{n} = \frac{1}{2} (a_{n-1} + b_{n-1} ) $
  $ b_{n} = b_{n-1} $
• $ f(\frac{1}{2} (a_{n-1} + b_{n-1})) > 0のとき$
  $ a_{n} = a{n-1} $
  $ b_{n} = \frac{1}{2} (a_{n-1} + b_{n-1} ) $

終了条件は、$ f(\frac{1}{2} (a_{n-1} + b_{n-1})) = 0 $ または、 $ b_{n} - a_{n} < \epsilon \hspace{5mm}(小さな任意の値), $

[参考]

• ニュートン法
  f(x)=0になるようなxを求めるアルゴリズムの１つで、方程式の解を近似的に求めることができる方法。

$$ x_{n+1} = x_{n} - \frac{f(x_{n})}{f'(x_{n})}　$$

例えば、$ f(x) = x^2 - 2 $ のとき、 $ f'(x) = 2x $ であるので、
$$ x_{n+1} = x_{n} - \frac{x_n^2 - 2}{2x_n} = \frac{1}{2} (x_n + \frac{1}{x_n})$$となるので、これを順次計算していくと、$x_0 = 2, x_1 = 1.5, x_2 = 1.416666…,
x_3 = 1.4142156862745…,x_4 = 1.4142135623746899$ となる。

[参考]

1 変数関数の積分法

• 広義積分
  何らかの定積分の積分区間を動かしたときの極限である。極限値は有限確定値に収束することもあるが発散することもある。積分区間の端点（片方または両方）は何らかの実数か正または負の無限大に近づく。

 

• ガンマ関数

$$ \Gamma (a) := \int_{0}^{\infty} x^{a-1} e^{-x} dx, \hspace{20mm} a \hspace{1mm}>\hspace{1mm} 0 $$

 

• ベータ関数

$$ B(a, b) := \int_{0}^{1} x^{a-1} (1 - x)^{b - 1}, \hspace{10mm} a \hspace{1mm}>\hspace{1mm} 0, \hspace{2mm} b \hspace{1mm}>\hspace{1mm} 0 $$

多変数関数の微分法

• 勾配
  後日記載予定
   

• 極値と偏導関数の関係

• 極大または極小 -> その点で偏導関数の値が全て0
• その点で偏導関数の値が全て0かつ　ヘッセ行列が正定値 -> 極小
• その点で偏導関数の値が全て0かつ ヘッセ行列が負定値 -> 極大

 

• ヘッセ行列
  n 変数関数 $f(x_1,x_2,\cdots,x_n)に対して、ij成分が \frac{\partial^2 f}{\partial x_i \partial x_j} $ であるような n × n 行列。必ず対称行列になる。

\begin{align}
ex.\hspace{5mm} &f(x, y) = x^3 + 2xy + y^2 - x \hspace{5mm}のとき \\
&\frac{\partial f}{\partial x} = 3x^2 + 2y - 1 , \hspace{5mm} \frac{\partial f}{\partial y} = 2x + 2y  \\
&\frac{\partial^2 f}{\partial x^2} = 6x, \hspace{5mm} \frac{\partial^2 f}{\partial y^2} = 2, \hspace{5mm} \frac{\partial^2 f}{\partial x \partial y} = 2 \\
\end{align}

ヘッセ行列 \\
\begin{pmatrix}
\frac{\partial^2 f}{\partial x^2} & \frac{\partial^2 f}{\partial x \partial y} \\
\frac{\partial^2 f}{\partial x \partial y} & \frac{\partial^2 f}{\partial y^2}
\end{pmatrix}
= 
\begin{pmatrix}
6x & 2 \\
2 & 2
\end{pmatrix}

[参考]

 

• テイラー展開
  前項を参照

 

• ニュートン法
  前項を参照
   
• ヤコビ行列
  微分係数の多変数関数バージョン、$\frac{\partial y_i}{\partial x_i}$ をi,j成分とするm × n行列をヤコビ行列という。

２行２列の場合、
J = \begin{pmatrix}
\frac{\partial y_1}{\partial x_1} & \frac{\partial y_1}{\partial x_2} \\
\frac{\partial y_2}{\partial x_1} & \frac{\partial y_2}{\partial x_2}
\end{pmatrix}

ヤコビ行列の行列式をヤコビアン（変換の拡大率を表す）という。

[参考]

• 連鎖律(多変数関数の合成関数の微分)
  合成関数の微分公式を多変数関数に拡張した公式。２変数関数の場合は以下となる。

\begin{align}
&(x, y)から(u, v)が定まり、(u, v)からfが定まるとき、\\
&\frac{\partial f}{\partial x} = \frac{\partial f}{\partial u} \frac{\partial u}{\partial x}  + \frac{\partial f}{\partial v} \frac{\partial v}{\partial x} \\
&\frac{\partial f}{\partial y} = \frac{\partial f}{\partial u} \frac{\partial u}{\partial y}  + \frac{\partial f}{\partial v} \frac{\partial v}{\partial y} \\
&ex. \\
&f(x, y) = (x^2 + y^2)sinxyに対して、偏導関数 \frac{\partial f}{\partial x}を求める\\
&u(x, y) = x^2 + y^2, \hspace{5mm} v(x, y) = \sin{xy} とおくと、 f = uv, \\
&\frac{\partial f}{\partial x} = \frac{\partial f}{\partial u} \frac{\partial u}{\partial x}  + \frac{\partial f}{\partial v} \frac{\partial v}{\partial x} \\
&= v(2x) + u(y \cos{xy}) \\
&= 2x \sin{xy} + (x^2 y + y^3) \cos{xy
}\end{align} 

• 連鎖律とヤコビ行列

(x ,y)-> (u, v)のヤコビ行列を$J_A$、(u, v)-> fのヤコビ行列を$J_B$としたときの連鎖律は $J_B J_A$で表せられる。

J_A = \begin{pmatrix}
\frac{\partial u}{\partial x} & \frac{\partial u}{\partial y} \\
\frac{\partial v}{\partial x} & \frac{\partial v}{\partial y}
\end{pmatrix}

J_B = \begin{pmatrix}
\frac{\partial f}{\partial u} & \frac{\partial f}{\partial v} 
\end{pmatrix}

J = 

J_B J_A = 
\begin{pmatrix}
\frac{\partial f}{\partial u} & \frac{\partial f}{\partial v} 
\end{pmatrix}

\begin{pmatrix}
\frac{\partial u}{\partial x} & \frac{\partial u}{\partial y} \\
\frac{\partial v}{\partial x} & \frac{\partial v}{\partial y}
\end{pmatrix}
=
\begin{pmatrix}
\frac{\partial f}{\partial x} & \frac{\partial f}{\partial y} 
\end{pmatrix}

多変数関数の積分法

• 重積分
  後日記載予定

 

• 重積分(長方形領域)
  領域 D が長方形領域　$ D = \lbrace (x, y) | a \leq x \leq b, c \leq y \leq d \rbrace $ のとき、

\begin{align}
&\int \int_{D} f(x, y)dxdy = \int_a^b dx \int_c^d f(x, y)dy = \int_c^d dy \int_a^b f(x, y)dx \\
&ex. \int \int_{D} (x + y)dxdy, D = \lbrace (x, y) | 0 \leq x \leq 1, 1 \leq y \leq 2  \rbrace のとき、\\
&\int_0^1 dx \int_1^2 f(x, y)dy = \int_0^1 dx  [ xy + \frac{y^2}{2}]_{y=1}^{y=2} = \int_0^1 dx  ( x + \frac{3}{2} ) =  [\frac{x^2}{2} + \frac{3x}{2}]_{x=0}^{x=1} \hspace{2mm}= \hspace{2mm}2
\end{align}

• 累次積分
  後日記載予定
   

• 一般の領域での重積分(縦線領域、横線領域の重積分)
  後日記載予定
   

• 変数変換とヤコビアン
  後日記載予定
   

• 広義重積分
  後日記載予定
   

• ガウス積分
  ガウス関数 $ exp(-x^{2}) $ の実数全体での広義積分

\int_{-\infty}^{+\infty} e^{-x^{2}} dx = \sqrt{\pi}

• 極座標変換
  後日記載予定
   

• 正規分布の極座標変換による求積
  後日記載予定
   

数値積分

• 台形則
  簡単なイメージとして面積（積分値）を、幅をn等分して、高さf(a)を幅1/(4n)%、高さf(b)を幅1/(4n)%、高さf(a+jh)を合計で幅1/(2n)%計算する。

\begin{align}
\int_{a}^{b} f(x)dx &= \frac{h}{2}( f(a) + 2\sum_{j=1}^{n-1} f(a+jh) + f(b)) \\
ただし、 h(刻み幅) &= \frac{b-a}{n}、\hspace{2mm} n = 分割数
\end{align}

[参考]

• シンプソン法
  簡単なイメージとして面積（積分値）を、幅を6等分して高さf(a)を幅(b-a）の1/6幅、高さf(m)を6/4幅、高さf(b)を1/6幅で計算する。

\begin{align}
\int_{a}^{b} f(x)dx &= \frac{(b - a)}{6}( f(a) + 4f(m) + f(b)) \\
&ただし、m(中間点) = \frac{a+b}{2}
\end{align}

ex.

\begin{align}
\int_{1}^{3} (x^3 + 2x^2 -3x)dx & \Rightarrow \frac{(3 - 1)}{6}( f(1) + 4f(2) + f(3)) \\
&= \frac{2}{6}( 0 + 40 + 36) = \frac{76}{3} \\
\end{align}

[参考]

3. 最適化

連続最適化

• 最急降下法
  後日記載予定
   

• ニュートン法
  後日記載予定
   

• ラグランジュ乗数法
  制約付き関数の最大値や最小値の候補を求める。
  条件付き $g(x, y) = 0 $の下で、f(x ,y)が極値を取る点を考える。

$$ F(x,y) = f(x,y) − \lambda g(x,y) \hspace{10mm} \lambdaは未定乗数 $$

ex.
$ \hspace{20mm} x^2 + y^2 = 1 $ の条件のもとで、$ f(x, y) = 2x + 3y $の最大値

\begin{align}
L(x, y, L) = 2x + 3y - \lambda ( x^2 + y^2 - 1) \\
\frac{\partial L}{\partial x} = 2 - 2x \lambda = 0  \hspace{10mm}① \\
\frac{\partial L}{\partial y} = 3 - 2y \lambda = 0  \hspace{10mm}② \\
\frac{\partial L}{\partial \lambda} = -x^2 - y^2  + 1  = 0  \hspace{10mm}③ \\
①、②より、 x = \frac{2}{3} y \hspace{10mm}④ \\
③、④より、 (x, y) = ( \pm \frac{2}{\sqrt{13}},  \pm \frac{3}{\sqrt{13}}) \\
このうち、最大値は (+ \frac{2}{\sqrt{13}},  + \frac{3}{\sqrt{13}} )
\end{align}

[参考]

• 条件付き極値問題
  後日記載予定
   
• 凸関数(定義、ヘッセ行列の(半)正定値性との関係)
• 後日記載予定
   
• 最適性条件
• 後日記載予定
   
• 線形計画法
• 後日記載予定
   

離散最適化

• 組み合わせ最適化
  後日記載予定
   
• ネットワーク最適化
  後日記載予定
   
• ナップサック問題
  後日記載予定
   
• 巡回セールスマン問題
  後日記載予定
   

おわりに

まだまだ記載不足していますが継続して順次ブラッシュアップしていきます。DSエキスパート合格に少しでも役に立てれば幸いです。