活性化関数とは？種類・役割・使い分けをわかりやすく解説

はじめに

ニューラルネットワークの各層に必ず組み込まれている活性化関数（Activation Function）。地味な存在に思えますが、活性化関数がなければディープラーニングは成り立ちません。

この記事では、活性化関数の役割・代表的な種類・使い分けを、数式をなるべく使わずに解説します。

小学5年生でもわかるシンプルな説明はこちら
👉 【小学5年生でもわかる】活性化関数ってなに？

活性化関数とは

活性化関数とは、ニューラルネットワークの各ニューロンの出力に適用される非線形変換です。入力の重み付き和を計算した後、活性化関数を通すことで非線形性を導入します。

なぜ活性化関数が必要なのか

活性化関数がない場合、ニューラルネットワークは何層重ねても**線形変換の合成（＝ただの線形変換）**にしかなりません。つまり、単純な直線的な関係しか表現できないのです。

活性化関数で非線形性を加えることで、ネットワークは曲線や複雑なパターンを表現できるようになり、画像認識や自然言語処理といった高度なタスクが可能になります。これを**万能近似定理（Universal Approximation Theorem）**と関連づけて理解すると、活性化関数の重要性がわかります。

代表的な活性化関数

ステップ関数

最も単純な活性化関数で、入力が閾値を超えたら1、超えなかったら0を出力します。パーセプトロンで使われていましたが、微分ができないため現在のディープラーニングではほとんど使われません。

シグモイド関数（Sigmoid）

出力を0から1の範囲に変換します。確率的な出力が求められる場面（二値分類の出力層など）で使われます。

• 長所：出力が確率として解釈しやすい
• 短所：勾配消失問題が起きやすい（出力が0や1に近いとき勾配がほぼ0になる）、出力の中心が0でない

tanh関数（ハイパボリックタンジェント）

出力を**-1から1の範囲**に変換します。シグモイドの改良版で、出力の中心が0になるため学習が安定しやすい特徴があります。

• 長所：ゼロ中心の出力
• 短所：シグモイドと同様に勾配消失問題が残る

ReLU（Rectified Linear Unit）

現在のディープラーニングで最も広く使われている活性化関数です。入力が0以下なら0、0より大きければそのまま出力するという非常にシンプルな仕組みです。

• 長所：計算が高速、勾配消失問題が起きにくい、スパース（疎）な活性化を促進
• 短所：Dying ReLU問題（入力が常に負になるニューロンが学習しなくなる現象）

Leaky ReLU

ReLUのDying ReLU問題を改善するため、入力が負のときに**わずかな勾配（例：0.01x）**を持たせた関数です。完全にゼロにならないため、すべてのニューロンが学習に参加できます。

Softmax関数

多クラス分類の出力層で使われる関数です。複数の出力値を**確率分布（合計が1）**に変換します。「犬: 0.7, 猫: 0.2, 鳥: 0.1」のように、各クラスに属する確率を出力します。

活性化関数の比較

関数	出力範囲	主な用途	特徴
ステップ関数	0 or 1	パーセプトロン	微分不可、現在は不使用
シグモイド	0〜1	二値分類の出力層	勾配消失問題あり
tanh	-1〜1	RNNの隠れ層など	ゼロ中心、勾配消失あり
ReLU	0〜∞	隠れ層全般	高速、最も普及。Dying ReLU問題
Leaky ReLU	-∞〜∞	隠れ層全般	Dying ReLU問題を軽減
Softmax	0〜1（合計1）	多クラス分類の出力層	確率分布を出力

使い分けのガイドライン

隠れ層

• 基本はReLUを使う。計算効率と学習速度のバランスが良い
• Dying ReLU問題が生じる場合はLeaky ReLUを検討
• RNNの隠れ層ではtanhが使われることが多い

出力層

• 二値分類（Yes/No）→ シグモイド関数
• 多クラス分類（犬/猫/鳥）→ Softmax関数
• 回帰問題（数値予測）→ 活性化関数なし（恒等関数）

活性化関数の特徴まとめ

項目	ポイント
役割	非線形性を導入し、複雑なパターンの学習を可能にする
最も普及	ReLU（隠れ層のデファクトスタンダード）
分類の出力	シグモイド（二値）、Softmax（多クラス）
歴史的な流れ	ステップ → シグモイド → tanh → ReLU → Leaky ReLU
共通の課題	勾配消失問題（シグモイド、tanh）、Dying ReLU問題（ReLU）

おすすめの学習リソース

活性化関数はニューラルネットワークの基礎中の基礎です。グラフの形を見ながら特徴を覚えると、理解が深まります。

書籍

• 『深層学習教科書 ディープラーニング G検定 公式テキスト 第2版』（JDLA監修）
  G検定受験者の定番。シラバスに沿って体系的に学べる公式テキスト。まずはこの1冊から。

• 『ディープラーニングG検定 最強の合格テキスト［第2版］』（SBクリエイティブ）
  最新シラバス完全対応で、章末問題と模擬試験PDF付き。公式テキストの補強に。

• 『スッキリわかる ディープラーニングG検定 テキスト&問題演習 第3版』（TAC出版）
  図解が豊富でわかりやすく、初学者でも取り組みやすい。文系の方にも特におすすめ。

• 『ディープラーニングG検定 問題集 第2版』（通称：赤本）
  実践的な問題演習に特化。新シラバスの範囲もカバーしており、仕上げに最適。

💡 G検定の書籍は定価だとそこそこしますが、某フリマアプリで中古を探すとかなり安く手に入ります。試験対策の書籍は内容が大きく変わるものでもないので、中古で十分です。

Webサービス

• AI検定ドットネット
  G検定の練習問題を無料で解けるサイト。スキマ時間にスマホで問題演習をしたい方に便利。