データサイエンスに必要な数学基礎（微分編）

数学の言葉がわからない、数式が読めないと困ったので、基礎から勉強しています。
本記事はその取り組みの一部で、正確に理解するというよりかは数式に直面したり、言葉を聞いてイメージができるようになることを目標としています。

前提知識：

• 中学数学
• データサイエンスに必要な数学基礎

追記　業務中度々混乱してしまったので小学生の範囲ですが、割合の定義

割合とは「ある量をもとにして、比べられる量がもとにする量の何倍にあたるかを表したもの」、また「もとにする量を 1 としたときの比べられる量の大きさを表したもの」です。

微分とは

• 傾き(＝変化の割合)を求める操作
• 変数の微小な変化に対応する、関数の変化量を求めること

微分の使われどころ

例：単層のニューラルネットワーク

式で書くとこんな感じ

y=\sum_{k=1}^{n} w_k x_k +b\ \\

つまり何をやっているのか…　

1. 【学習フェーズ】
   $ y= \underbrace{w_1x_1 + w_2x_2 + \cdots + w_nx_n +b}_{モデル=数式のこと} \hspace{1pt} $
   のwの値をyが正解の値に近づくように微分で調整しながら、一番良いモデルを作る
2. 【推測フェーズ】
   モデルができたら、wとbは定数にする。xを変数として、yを求める。

ということをやってる。

微分を表現するのに使う記号：limit

$ y = f(x) $に対する接線の傾きは $ f'(x) $と表すことができる(導関数という)
これを求めるのに極限(limit)を使う
参考講義：https://youtu.be/Y-1TR_ni85U?si=qHgoHkMpcwqsfXGn

$ f'(x) = lim_{h \to 0}\frac{f(x+h) - f(x)}{h} \hspace{1pt} $

$ lim_{h\to0} $は$ h $を限りなく$ 0 $に近づけるということ。

イメージ：

関数f(x)のx=aの点とx=a+hの点を結ぶ直線の、x+hをxに近づける(=hを0に近づける)

引用：【3分で分かる！】微分の計算のやり方・導関数の意味と求め方をわかりやすく

微分の公式

参考講義：https://youtu.be/SAZYMVGAiRM?si=YwanmZw4EfyhXElo

\begin{align}
y=f(x), \hspace{5pt} c:定数, \hspace{5pt} e:ネイピア数\\\\
y=c \hspace{10pt}→\hspace{10pt}f'(x) = \overbrace{(c)'}^{cの微分値という意味} = 0\hspace{5pt}\\
y=x \hspace{10pt}→\hspace{10pt}f'(x) = (x)'= x\hspace{5pt}\\
y=x^2 \hspace{5pt}→\hspace{5pt}f'(x) = (x^2)' = 2x\\
\end{align}

y=e^x \hspace{5pt}→\hspace{5pt}f'(x) = (e^x)' = e^x\\
y=e^{-x} \hspace{1pt}→\hspace{1pt}f'(x) = (-e^x)' = -e^x \\

※ネイピア数は微分しても値が変わらない

合成関数

合成関数とは、$ y=f(u), \ u=g(x) $のように、複数の関数の合成で表される関数のこと。

連鎖率

微分を分数で表現したものは以下のようにあらわすことができる。
合成関数を微分するときはこれを使う。

\frac{dy}{dx} = \frac{dy}{du}\frac{du}{dx}

シグモイド関数

yが0から1の間に収まる
シグモイド曲線は、こんな感じにS字のグラフになる

それを微分すると山なりのグラフになる(微分するときに合成関数を使う)

引用：シグモイド関数を理解してみる

使われどころ：
勾配降下法、誤差逆伝播法でパラメーターの更新に使う

多変数関数と偏微分

$ y=f(x) $ x:独立変数、y:従属変数
$ y=f(x,y) $ 独立変数が2つ以上　⇒多変数関数

例：$ z=x^2+y^2 $
グラフは三次元になる

使いどころ：
損失関数、誤差関数
勾配降下法→底のほう(小さいほう)に進むにはどうすればよいか計算する

偏微分

多変数関数を微分するときに、1つの変数にだけを変動させて、それ以外は定数として扱うこと

参考

【3分で分かる！】微分の計算のやり方・導関数の意味と求め方をわかりやすく
微分とは何か？ － 中学生でも分かる微分のイメージ
シグモイド関数を理解してみる