シグモイド関数は、かつてニューラルネットワークの活性化関数として広く使われていた、S字型の曲線を描く関数です。出力が0から1の間に収まるという特徴から、特に二値分類問題などで確率のような値を出力したい場合によく用いられました。
💖 シグモイド関数の特徴
シグモイド関数は、以下のような特徴を持っています。
- S字型の曲線：入力が非常に小さい（負の大きい値）と出力は0に近づき、入力が非常に大きい（正の大きい値）と出力は1に近づきます。
- 出力範囲が $[0, 1]$：どんな入力値に対しても、出力は必ず0と1の間に収まります。このため、出力結果を確率として解釈したい場合に便利です。
- 単調増加関数：入力が増加すると出力も必ず増加します。
- 非線形関数：出力が入力に対して直線的ではないため、ニューラルネットワークが非線形な関係を学習できるようになります。
🔢 数式とグラフ
シグモイド関数 $\sigma(x)$ は、次の数式で表されます。
$\sigma(x) = \frac{1}{1 + e^{-x}}$
ここで、$ e $ は自然対数の底（約 $2.718$）です。
📉 シグモイド関数の課題：勾配消失問題
シグモイド関数は一時期広く使われましたが、ニューラルネットワーク、特に深層学習モデルにおいては、いくつかの課題が指摘されるようになりました。その中でも最も深刻なのが「勾配消失問題」です。
:::note alert | message alert
勾配消失問題は、以下のようなシグモイド関数の特性から発生します。
- 勾配の飽和領域：シグモイド関数のグラフを見るとわかるように、入力 $x$ が非常に大きい正の値、または非常に小さい負の値になると、関数の傾き（勾配）がほとんど0に近づきます。
- 学習の停滞：ニューラルネットワークは学習の際に、この勾配を使って重みを更新します。勾配が0に近くなると、重みの更新量が極端に小さくなり、学習がほとんど進まなくなってしまいます。
- 深層ネットワークでの問題：層が深くなるにつれて、この小さな勾配が何回も掛け合わされるため、入力層に近い層ほど勾配がゼロに収束しやすくなり、結果としてそれらの層の学習が停滞してしまいます。
🌟 現在の利用状況
勾配消失問題の観点から、隠れ層の活性化関数としては現在、ReLU関数やその派生形が主流となっています。
しかし、シグモイド関数が全く使われなくなったわけではありません。
- 出力層：特に二値分類問題において、最終的な出力層で確率を表現したい場合には、今でもシグモイド関数が使われることがあります。出力が0から1の範囲に収まるという特徴は、確率解釈に非常に適しているためです。
- ゲート機構：LSTM (Long Short-Term Memory) やGRU (Gated Recurrent Unit) といったリカレントニューラルネットワーク（RNN）の内部にある「ゲート機構」など、特定の用途ではその特性が活かされています。
まとめ 🚀
シグモイド関数は、ニューラルネットワークの基本的な活性化関数として歴史的に重要ですが、深層学習における勾配消失問題という課題を浮き彫りにしました。この課題を克服するために、ReLUなどの新しい活性化関数や、ネットワーク構造の工夫が発展しました。
シグモイド関数の特徴と課題を理解することは、ニューラルネットワークの進化の歴史と、より効果的なモデル設計を学ぶ上で非常に役立ちますよ！💡