StudyAI E資格講座レポート（応用数学）

応用数学レポート

Section1 線形代数

1.要点

• 固有値と固有ベクトル

ある行列Aに対して，以下のような式が成り立つような，特殊なベクトル$\vec x$と，右辺の係数λがある。
$ A\vec𝑥 = 𝜆 \vec x$
行列Aとその特殊なベクトル$\vec x$の積は，ただのスカラーの数λとその特殊なベクトル$\vec x$との積同じ値になる！この特殊なベクトル $\vec x$とその係数λを，行列Aに対する，固有ベクトル，固有値という。

• 固有値分解

固有値分解は、行列が特定の方向（固有ベクトル）をどれだけ伸縮させるか（固有値）に分解する方法で、行列の本質的な性質を理解しやすくする。
機械学習にPCA(主成分分析)でよく使われています。

• 特異値分解

その意味はよく分かりませんが、「どんな行列でも分解できる」という強力な利点があると思っています。

Section2 確率・統計

1.要点

統計学の概要

• 大量のデータから特徴を見つけ出し、分析するための手法は統計学

• 統計学で取り扱うデータは、定性的なデータである質的データ
  カテゴリカルデータと定量的なデータである量的なデータに分けられます。
  量的データには、離散的な値を取りうる連続的データの2種類あります。

• データの次元とは、個体に対する観測値・測定値の個数です。観測値・測定値が一つの場合、一次元データ、といいます。観測値・測定値が二つの場合、二次元データといいます。

• 一般に、部分的なデータから本来知りたい集団を推測することを推測統計学。

• 本来知りたいと思っている集団は母集団といいます、母集団は、有限の要素数の有限母集団、無限の要素数の無限母集団の２種類あります。

• 母集団から選び出すことを標本抽出(サンプリング)といいます、標本抽出には、抽出した要素を再び母集団に戻す復元抽出と戻さない非復元抽出の2種類あります。
  母集団から「ランダム」標本をサンプリングする方法は単純無作為抽出です。

データの可視化

• 棒グラフは、縦軸にデータ量を取り、棒の高さでデータの大小を表したグラフです、質的データを可視化する際に有益です。
• ヒストグラムはデータの度数およびその分布の様子を可視化するずです。
• 折れ線グラフは、順序に意味のあるデータに対する値を可視化します。

記述統計学で使う統計量

• 平均(mean)
  $\bar{x} = \frac{1}{N}\displaystyle\sum_{i=1}^{N} x_i$
  $\bar{x} = \frac{x_1 + x_2 + \dots + x_n}{N}$
• 度数の平均 ｋ番目の階級の度数は$f_k$、ｋ番目の階級値を$v_k$とする
  $\bar{x} = \frac{f_1 v_1 + f_2 v_2 + \dots+f_N v_N}{f_1+f_2+\dots+f_N}$
• 中央値(median)は、ソートされたデータの中央の値です。
• 最頻値(mode)は、データの中で最も頻度の高いデータを指します。
• 偏差(deviation)は、平均からの”ずれ”を表す量です。
  $\sum_{i=1}^{N}(x_i-\bar{x})^2$
• 分散(variance)は、平均からの散らばり具合を表す量で、データのずれとして定義されます。
  $V=\frac{1}{N}\displaystyle \sum_{i=1}^{N} (x-\bar{x})^2$
• 標準偏差は、分散の平方根です
  $\sigma=\sqrt{V}=\sqrt{\frac{1}{N}\displaystyle\sum_{i=1}^{N}(x-\bar{x})^2}$

微分

• 微分の幾何学的な意味は、関数$f(x)$のｘ点の傾きです。
  $\frac{df(x)}{dx}=\displaystyle\lim_{\Delta x\rightarrow0}\frac{f(x+\Delta x)-f(x)}{\Delta x}$

• 線形と非線形　１次関数のようなものがあるは線形

• 微分の和の公式
  $\frac{d}{dx}(f(x)+g(x))=\frac{df(x)}{dx}+\frac{dg(x)}{dx}$

• 微分の積の公式
  $\frac{d}{dx}(f(x)g(x))=\frac{df(x)}{dx}g(x)+\frac{dg(x)}{dx}f(x)$

• 微分の商の公式
  $\frac{d}{dx}\frac{f(x)}{g(x)}=\frac{f'(x)g(x)+f(x)g'(x)}{g(x)^2}$

• 指数関数$f(x)=a^x$の微分の公式
  $\frac{d}{dx}a^x=\log_e{a} \cdot a^x$

• 自然指数関数$f(x)=e^x$の微分の公式
  $\frac{d}{dx}e^x=e^x$

• 対数関数の微分の公式
  $\frac{d}{dx}\log_a^x=\frac{1}{x\log_e^a}$

• 自然対数関数の微分の公式
  $\frac{d}{dx}\log_e^x=\frac{1}{x}$

• 合成関数の微分の公式
  $\frac{d}{dx}f(g(x))=\frac{df(z)}{dz}\frac{dz}{dx}$
  $z=g(x)$

• 三角関数の微分の公式
  $\frac{d}{dx}\sin(x)=\cos(x)$
  $\frac{d}{dx}\cos(x)=-\sin(x)$
  $\frac{d}{dx}\tan(x)=\frac{1}{cos(x)^2}$

• 偏微分の公式
  $\frac{\delta f(x, y)}{\delta x}=\displaystyle \lim_{\Delta x \rightarrow 0} \frac{f(x+\Delta x, y) - f(x, y)}{\Delta x}$

• 二項係数
  ${}_nC_r=\frac{n!}{r!(n-r)!}$
  $(0\le r \le n)$

積分

• べき関数の不定積分の公式
  $\displaystyle \int x^n dx = \frac{x^{n+1}}{n+1} +c$
• 逆数関数の不定積分の公式
  $\displaystyle\int{\frac{1}{x}}dx=\log_e^{|x|}+ c$
• 指数関数の不定積分の公式
  $\displaystyle \int a^x dx=\frac{a^x}{log_e~a} +C$ $(a>0, a\ne 1)$
• 三角関数の不定積分の公式
  $\displaystyle \int sin(x)dx = -cos(x) + c$
  $\displaystyle \int cos(x)dx = sin (x) + c$
• 区間の加法公式
  $\displaystyle \int_a^b f(x)dx + \int_b^cf(x)dx = \int_a^c f(x)dx$
• 積分の線形性
  $\displaystyle \int_a^b cf(x)dx = c\int_a^bf(x)dx$
• 積分の区間反転
  $\displaystyle \int_a^b f(x)dx = -\int_a^bf(x)dx$
• 部分積分
  $\displaystyle \int_a^b f(x) \frac{dg(x)}{dx}dx = [f(x)g(x)]_{x=a}^b -\int_a^b\frac{df(x)}{d(x)}g(x)dx$

確率分布の導入

• ベルヌーイ分布
  $f(x)=p^x(1-p)^{1-x}$
• Gauss分布
  $f(x)=\frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$
• 二項分布
  $P(X = k)=\binom{n}{k}p^k(1-p)^{(n-k)}$

確率変数

• 事象は標本空間の部分集合
  独立事象は分割できない最小単位の事象
  複合事象は分割可能な事象
• 離散的確率分布の期待値の公式
  $E[X]=\displaystyle \Sigma_ix_ip_i$
• 連続的確率分布の期待値の公式
  $E[x]=\displaystyle \int_{-\infty}^{-\infty}xf(x)dx$
• 確率分布の分散の公式
  $Var(X)=E[(X - E[X])^2]$
• 離散的確率分布の分散の公式
  $Var(x)= \Sigma_i(x_i - E[X]^2)p_i$
• 連続的確率分布の分散の公式
  $Var(x)= \displaystyle \int_{-\infty}^{\infty}(x_i - E[X]^2)f(x)dx$

Section3 情報理論

1.要点

• 自己情報量

$I(x) = - log(P(x))=log(W(x))$
特定の事象がもつ情報量を定量化した値

• エントロピー

$H = -\sum_{x \in X}p(x)log_2(p(x))$
自己情報量の期待値

• 相互情報量

$I(x, y) = \sum_{x \in X, y \in Y}log_2\frac{p(x, y)}{p(x)p(y)}$
事象の観測によって、事象Yの不確定性(エントロピー)を減少させられる度合い（依存と影響の度合い）

• 条件付きエントロピー

$H(Y|X)=-\sum_{x \in X}p(x)\sum_{y \in Y}p(y|x)log_2(y|x)$
事象Xが観測された上で残った事象Yの不確定性

• 結合エントロピー

$H(X,Y) = -\sum_{x \in X, y \in Y}p(x, y)log_2(x, y)$
2つ以上の事象が同時に発生する全てのパターンの不確定性(エントロピー)

• KLダイバージェンス

2つの確率分布の類似性を測る尺度
$KL(P||Q)=\sum_xP(x)log_2(\frac{P(x)}{Q(x)})$

• JSダイバージェンス

2つの確率分布の類似性を測る尺度
$JS(P||Q) = \frac{1}{2}KL(P||M) + \frac{1}{2}(Q||M)$
$M = \frac{1}{2}(P + Q)$
P と Q を「同じ重み（0.5）」で混ぜ合わせた分布が M です。

• クロスエントロピーとKLダイバージェンスの関係性

$KL(P||Q) = H(P, Q) - H(P)$

【参考文献】

<< 書籍 >>
1.統計学(1-2), Tatsuro Fukuda (日本電子専門学校　2025)
<< Webサイト >>
1.AIのための数学講座：少しづつ丁寧に学ぶ人工知能向けの線形代数/確率・統計/微分, Yukinaga Azuma(Udemy)