はじめに

今回は、「交差エントロピー」「ソフトマックス関数」「平均二乗誤差」について、直感的な理解を目指してまとめました。

1. 交差エントロピー（Cross-Entropy）

分類問題における「正解とのズレ」を測るものさし

交差エントロピーは、主に分類問題（例：画像が犬か猫か当てる）の損失関数として利用されます。

役割： AIが出した「予測確率」と、実際の「正解ラベル」がどれくらい離れているかを計算します。
特徴： * 予測が正解に近いほど、値（誤差）は 0 に近づきます。
- 予測が正解から遠い（自信満々に外す）ほど、値（誤差）は 指数関数的に大きく なります。
数式のイメージ： $E = -\sum t_k \log y_k$
- 正解（$t_k=1$）のとき、予測（$y_k$）が小さいほど、ペナルティが大きくなる仕組みです。

バラバラな数値を「確率」に変換する魔法の箱

ニューラルネットワークの最終層から出てきた数値を、人間や損失関数が扱いやすい形に整えます。

左側（入力）：
生の出力値（Logits）AIのネットワークから出てきた、バラバラで合計も一定ではないスコア（例：猫3.0、犬1.0、鳥0.2）です。これでは確率として扱えません。
中央：
ソフトマックス関数（魔法の箱）生の数値を指数関数（$e^x$）を用いて計算し、すべての値の合計が「1.0 (100%)」になるように変換します。
右側（出力）：
確率の分布変換後のきれいな確率（例：猫84%、犬11%、鳥5%）です。これにより「AIは84%の確率で猫だと予測している」と明確になります。
下部のポイント：
ソフトマックス関数の特徴を3点（0〜1の範囲、合計100%、最大値を強調する「ソフトマックス」の仕組み）で整理しています。

回帰問題における「誤差の合計」を出すものさし

「明日の気温」や「株価」など、具体的な 数値を予測する（回帰問題） ときに使われる損失関数です。

上部：
全体の定義と数式
MSEは損失関数の一種であり、回帰問題（連続値の予測）で使われること、そして「予測値と正解値の差（誤差）を二乗し、その平均をとる」という数式の流れを簡略化して示しています。
中央：具体例（気温予測）
3つのデータポイントにおける、実際の気温とAIの予測値、その誤差、そして誤差の二乗の計算プロセスを視覚化しています。
- 誤差はプラス（+4）もマイナス（-2）もありますが、二乗することで全てプラス（16, 4）に変換されます。
- これらの二乗誤差を合計し（21）、データ数（3）で割ることで、最終的なMSE（7）が算出されます。メーターがその損失の状態を示しています。
下部：重要ポイント
MSEの大きな特徴を3点にまとめています。

問題の種類	具体例	出力層の関数	損失関数
回帰	気温予測、価格予想	恒等関数	平均二乗誤差
二値分類	スパム判定（Yes/No）	シグモイド関数	交差エントロピー
多クラス分類	動物の分類（犬/猫/鳥）	ソフトマックス関数	交差エントロピー

機械学習の学習プロセスは、「出力層で形を整え、損失関数でズレを測り、そのズレを最小化するようにパラメータを更新する」という流れで進みます。

今回紹介した関数は、いわばAIの「反省」を促すための重要なパーツです。それぞれの役割と、セットで使われるパターンの違いを整理して