用語
- 近似
複雑な問題を単純化したり計算効率を向上するために行われる行為。円周率3.14（本来は無限に続く無理数だが、小数点以下2桁で近似する）など。 - 汎化性能
未知のデータに対して精度よく予測が行えること - モデル
パラメータを使って何らかの計算を行うことで、与えられたデータの特徴や関係性を表すもの - 関数
- 目的関数
何が良いパラメータなのかという指標を表す関数- 二乗誤差関数（損失関数）
予測値の正確さを、対応する目標値との間の差の二乗によって測る関数 - 平均二乗誤差
予想値と目標値がすべてのnにおいて完全に一致するときだけ0になり、それ以外では必ず正の値をとる関数。
[ Tips ]：よって、この目的関数の値を最小にする$w$と$b$が、求めたい最適なパラメータである。
- 二乗誤差関数（損失関数）
- 最適化
ある関数を最小にする入力変数の値を求めること
- 目的関数
記号・変数
- $a$（係数や定数）
特定の役割を持たない「任意の定数」。 - $n$（または$N$）
個数 - $f(x)$（関数）
入力$x$で予測値$y$を出力する関数 - $x$
入力データ（特徴量） - $t$（target）
モデルが予測すべき正解データ、目標値 - $y$
予測値（出力） - $b$（または$w_0$）
切片 (intercept) またはバイアス (bias) - $w$（または$w_1$）
傾き（slope）または重み（weight）または係数（coefficient） - $l$（または$L$）
損失関数（Loss Function）または誤差関数（Error Function） - $\sum$（シグマ（総和））
例えば、$\sum_{i=1}^{200}$という式は、n = 1から順番にn = 2, n = 3, ..., n = 200 まで計算していき、すべてを足し合わせるということを意味する。 - $Δ$（デルタ）
変化量や差分を表す。学習の過程でパラメータがどれだけ変わるか、ある状態から別の状態への移行で何がどれだけ変化したか等。 - $d$（ディー）
無限に小さい（限りなくゼロに近い）変化量を表すときに使われます。
$∴d=\lim{h\to0}$ - $∂$（ラウンドディー）
複数の変数を同時に持つ関数において、ある一つの変数だけを無限小に変数させたときの関数の変化の割合を表します。ほかの変数は定数とみなされる。 - $θ$（シータ）
$w$（重み/傾き）と$b$（バイアス/切片）をひとまとめにしたもの。つまり$θ =$ { $w$, $b$ }のようなイメージです（多次元の場合はベクトルや行列になる）。
[Tips] 機械学習の学習プロセスは、損失関数$L(θ)$の値を最小にするような最適なθを見つけることが目的となる。 - $\lim_{h \to 0}$（極限（リミット））
極限とは、ある定数が特定の点に「限りなく近づく」ときに、それによって影響を受ける関数や数列の値が「どこに近づくか」を調べることです。ここで重要なのは、「限りなく近づく」のであって、「その点になる」わけではないという点。
[例]：$\lim_{h \to a}f(h)$ - $c$（定数（ハイパーパラメータ））
特定の定数やハイパーパラメータ。正規化パラメータとして$c$が使われることがあります。正規化は、モデルの過学習を防ぐための手法で、この$c$の値が大きいほどモデルは訓練データに厳密にフィットしようとし（複雑になりがち）、小さいほど単純なモデルになります。この$c$は、学習前に人間が設定するハイパーパラメータであり、学習の過程で変化することはありません。 - $f'(x)$（fの導関数）
与えられた関数$f(x)$の「各点における瞬間の変化の割合」を表す新しい関数。
[$f'(x)$の定義]
プライム記法
f'(x) = \lim_{h \to 0}\frac{f(x+h)-f(x)}{h}
- $f(x+h)-f(x)$：$x$が$h$だけ変化したときの、$y$の変化量
- $h$：$x$の微小な変化量
- $\frac{f(x+h)-f(x)}{h}$：$x$から$x+h$までの間の平均変化率
- $\lim_{h \to 0}$：$h$を限りなくゼロに近づける操作。これにより、平均変化率が、点$x$における瞬間の変化率（接線の傾き）になる
ライプニッツ記法
\frac{d}{dx}f(x) または \frac{df}{dx}(x)
と書いても構わない。
この$d$という記号は増分をとる操作を表しており、例えば$dx$は$x$の変化量を表す。
詳しくはプライム記法をライプニッツ記法に変換する方法をご確認ください
- $∫$（インテグラル）
府定積分（原始関数）。微分の逆演算。
ある関数を微分すると、元の関数になるような関数を求める操作。
その他
微分演算子＆不定積分の関係性
不定積分 \leftrightarrow 微分演算子
∫f(x_1)dx=F(x_2)+C \leftrightarrow (x_2)'=(x_1)
$f$の導関数＆微分演算子の関係性
- 定数の場合
fの導関数 \leftrightarrow 微分演算子
f(x)=C \leftrightarrow (C)'= 0
- 定数ではない場合
fの導関数 \leftrightarrow 微分演算子
f(x_1)=(x_2)+C \leftrightarrow (x_2)'=(x_1)