【初心者向け】勾配降下法とは何か？Pythonで徹底解析＆数学的に解説！

✅ 本記事の目的

この記事では、以下のことを学びます：

勾配降下法（Gradient Descent）の仕組みと数式の意味
Pythonだけで勾配降下法を実装・可視化
「なぜ最適解に近づけるのか？」を数学的に理解
実際の学習プロセスを数式＋コードで“腹落ち”させる

1. 勾配降下法とは？

● 一言でいうと？

関数の最小値を見つけるための反復アルゴリズムです。
「傾きを見て、谷の方へちょっとずつ進む」やつです。

2. 数式で理解する勾配降下法

● 問題設定：

関数 $f(x)$ の最小値を求めたい。
ここでは簡単な例として：

$$
f(x) = (x - 3)^2
$$

この関数のグラフは、$x=3$の位置に谷がある放物線です。

● 更新式（基本形）：

$$
x_{t+1} = x_t - \eta \cdot f'(x_t)
$$

$x_t$：現在の位置
$\eta$：学習率（Learning rate）
$f'(x_t)$：接線の傾き（導関数）

3. Pythonで勾配降下法を実装しよう！

ステップ①：目的関数とその導関数の定義

def f(x):
    return (x - 3)**2

def df(x):
    return 2 * (x - 3)

ステップ②：アルゴリズムの実装

def gradient_descent(start_x, learning_rate, steps):
    x = start_x
    history = [x]
    for _ in range(steps):
        grad = df(x)
        x = x - learning_rate * grad
        history.append(x)
    return history

ステップ③：試してみる

history = gradient_descent(start_x=0.0, learning_rate=0.1, steps=25)
for i, x in enumerate(history):
    print(f"Step {i:02d}: x = {x:.6f}, f(x) = {f(x):.6f}")

4. 数学的に見てみよう（Taylor展開の視点）

勾配降下法の本質は「関数を局所的に直線で近似する」ことにあります。

1変数関数 $f(x)$ を1次のTaylor展開で近似すると：

$$
f(x + \Delta x) \approx f(x) + f'(x)\Delta x
$$

ここで、関数を小さくするには $\Delta x$ を負の傾き方向に取りたい：

$$
\Delta x = -\eta f'(x)
$$

→ これが勾配降下法の更新式の由来です。

5. 学習率（η）の影響をPythonで比較

import numpy as np
import matplotlib.pyplot as plt

def run_and_plot(lr_list, steps=20):
    x_vals = np.linspace(-1, 7, 100)
    y_vals = f(x_vals)

    plt.figure(figsize=(12, 3))
    for i, lr in enumerate(lr_list):
        hist = gradient_descent(0.0, lr, steps)
        fx_hist = [f(x) for x in hist]
        plt.subplot(1, len(lr_list), i+1)
        plt.plot(x_vals, y_vals, label="f(x)")
        plt.scatter(hist, fx_hist, c='red')
        plt.title(f"Learning rate = {lr}")
        plt.xlabel("x")
        plt.ylabel("f(x)")
        plt.grid(True)
    plt.tight_layout()
    plt.show()

run_and_plot([0.01, 0.1, 0.5])

結果から分かること：

小さい学習率 → 安定するが、収束が遅い
大きい学習率 → 飛び跳ねたり、収束しなかったりする

6. 収束の数式的条件とは？

勾配降下法が収束するには、学習率 $\eta$ が適切な範囲にある必要があります。

例：1次関数 $f(x) = ax^2$ の場合、理論的には：

$$
0 < \eta < \frac{1}{L}
$$

ここで $L$ は関数の2階微分（曲率）＝Lipschitz定数。

7. おわりに：勾配降下法まとめ

項目	解説
何に使う？	損失関数の最小化（機械学習モデルの学習）
基本原理	微分（傾き）を見て、下り坂方向に更新
数式	$x_{t+1} = x_t - \eta f'(x_t)$
重要パラメータ	学習率（大きすぎると発散、小さすぎると遅い）