損失関数とは？ 📉

Posted at 2025-07-04

損失関数とは、AIモデルがどれだけ間違った予測をしたか、またはどれだけ理想的な状態から「ズレているか」を数値で示す関数です。別名で「コスト関数（Cost Function）」や「目的関数（Objective Function）」と呼ばれることもあります。

AIモデルは、この損失関数の値が最小になるように学習を進めます。損失関数の値が小さいほど、モデルの予測はより正確であると評価されます。

簡単に言うと、AIの**「成績表」**のようなもので、点数が低い（損失が小さい）ほど「よくできました！」となるわけです。💯

なぜ損失関数が必要なのか？ 🤔

AIモデル（特に機械学習やディープラーニングモデル）の学習プロセスは、基本的に**「試行錯誤」**の繰り返しです。モデルはまず、初期の（しばしばランダムな）予測を出します。

この予測が正しいかどうかを判断し、どのようにモデルを修正すべきかを決定するために、損失関数が不可欠です。

評価基準: モデルの予測と実際の正解（ラベルや目標値）との間にどれくらいの誤差があるかを定量的に測ります。
最適化の方向: 損失関数の値を最小化する方向へ、モデルの内部パラメータ（重みやバイアス）を調整するための「指針」となります。これは、勾配降下法（Gradient Descent）のような最適化アルゴリズムによって行われます。

モデルは損失関数の値を計算し、その値が小さくなるようにパラメータを繰り返し更新していきます。

損失関数は、解決しようとしているタスク（分類、回帰など）によって使い分けられます。

回帰問題は、数値の予測（例：株価、住宅価格、気温）を行うタスクです。

平均二乗誤差 (Mean Squared Error; MSE)
- 予測値と正解値の差を二乗し、その平均を取ります。
- 大きな誤差に対してより大きなペナルティを与えます。
- $$\text{MSE} = \frac{1}{N} \sum_{i=1}^{N} (y_i - \hat{y}_i)^2$$
  - $N$: データ点の数
  - $y_i$: $i$ 番目の正解値
  - $\hat{y}_i$: $i$ 番目の予測値
平均絶対誤差 (Mean Absolute Error; MAE)
- 予測値と正解値の差の絶対値をとり、その平均を取ります。
- 外れ値（異常に大きな誤差）に対してMSEよりも頑健（影響を受けにくい）です。
- $$\text{MAE} = \frac{1}{N} \sum_{i=1}^{N} |y_i - \hat{y}_i|$$

分類問題は、データをいくつかのカテゴリ（クラス）に分類するタスクです（例：猫か犬か、スパムメールか否か）。

交差エントロピー誤差 (Cross-Entropy Error)
- 分類問題で最も広く使われる損失関数です。
- 特に、モデルの出力が確率分布（ソフトマックス関数を通した結果など）である場合に適しています。
- 正解クラスの予測確率が低いほど、大きな損失となります。
- 二値分類 (Binary Cross-Entropy; BCE): 2つのクラスに分類する場合（例：0か1、はいかいいえ）。
  - $$\text{BCE} = - \frac{1}{N} \sum_{i=1}^{N} [y_i \log(\hat{y}_i) + (1 - y_i) \log(1 - \hat{y}_i)]$$
    - $y_i$: $i$ 番目の正解ラベル（0または1）
    - $\hat{y}_i$: $i$ 番目のデータがクラス1であると予測された確率
- 多クラス分類 (Categorical Cross-Entropy): 3つ以上のクラスに分類する場合。
  - $$\text{CE} = - \frac{1}{N} \sum_{i=1}^{N} \sum_{c=1}^{K} y_{ic} \log(\hat{y}_{ic})$$
    - $K$: クラスの総数
    - $y_{ic}$: $i$ 番目のデータがクラス $c$ に属する場合に1、それ以外は0（One-hotエンコーディング形式）
    - $\hat{y}_{ic}$: $i$ 番目のデータがクラス $c$ に属すると予測された確率

フォワードパス: AIモデルは入力データを受け取り、予測を出力します。
損失計算: 出力された予測値と正解値（訓練データに含まれる実際の値）を損失関数に入力し、損失値（誤差の大きさ）を計算します。
バックプロパゲーション: 計算された損失値を元に、勾配（損失関数を最小化するためのパラメータの更新方向と大きさ）を計算します。このプロセスを「バックプロパゲーション（誤差逆伝播法）」と呼びます。
パラメータ更新: 勾配に基づいて、モデルの重みとバイアス（内部パラメータ）を少しずつ調整（更新）します。この更新は、損失値を減少させる方向に行われます。
繰り返し: これらのステップを、損失値が十分に小さくなるか、あるいは決められた回数だけ繰り返すことで、モデルは徐々に賢くなっていきます。

損失関数は、AIモデルが学習目標を達成するための羅針盤🧭です。これがなければ、モデルは自分の予測が正しいのか間違っているのかを知ることができず、学習を進めることができません。

どの損失関数を選ぶかは、解きたい問題のタイプ（回帰か分類か、データの性質など）によって適切に決定する必要があります。適切な損失関数の選択は、AIモデルの学習効率と性能に大きく影響します。