はじめに
G検定のディープラーニングの章に入ると、急に用語の密度が上がります。
- 活性化関数
- 誤差逆伝播法
- 勾配降下法
- CNN
- RNN
- LSTM
- Attention
- Transformer
- Dropout
- Batch Normalization
このあたりが一気に出てきて、「結局どれがモデルで、どれが学習方法で、どれが補助機能なの？」となりやすいです。
今回は、翔泳社発行の『ディープラーニングG検定公式テキスト』をベースに、ディープラーニングの基本用語を初学者向けに整理します。
参考書の用語棚が少し雑に見えるときほど、いったん役割ごとに分けるとかなり楽になります。
今回のトピック
- ディープラーニングと教師あり学習・教師なし学習・強化学習の違い
- 重みとバイアスの役割
- 活性化関数の意味
- 誤差関数、誤差逆伝播法、勾配降下法の関係
- 訓練データ・テストデータ・本番データの違い
- ReLU、Sigmoid、Softmax の使い分け
まず全体像
最初にいちばん大事な整理だけ置いておきます。
| 観点 | 代表例 | 何の話か |
|---|---|---|
| モデルや構造 | ニューラルネットワーク、CNN、RNN、LSTM、Transformer | どういう形のモデルを使うか |
| 学習の枠組み | 教師あり学習、教師なし学習、強化学習 | 何を手がかりに学ぶか |
| 重み更新の仕組み | 誤差関数、誤差逆伝播法、勾配降下法、最適化手法 | どうやって賢くするか |
| 学習を安定させる工夫 | Dropout、Batch Normalization | 壊れにくく、学びやすくする工夫 |
つまり、
- ディープラーニングは「深いニューラルネットワークを使う方法全体」
- 教師あり学習などは「学ばせ方」
- 誤差逆伝播法や勾配降下法は「学習中の修正のしかた」
です。
ここが混ざると、一気に霧が出ます。
ディープラーニングは教師あり学習そのものではない
ここは試験でも混乱しやすいところです。
ディープラーニングは、深層ニューラルネットワークを用いるモデル群や方法全体 を指します。
一方で、教師あり学習・教師なし学習・強化学習は 学習の枠組み です。
たとえば、
- CNN を使って猫画像を分類するなら「ディープラーニング × 教師あり学習」
- オートエンコーダで画像を圧縮表現にするなら「ディープラーニング × 教師なし学習寄り」
- ゲームAIで報酬を使って学ばせるなら「ディープラーニング × 強化学習」
という組み合わせになります。
一言でいえば、
ディープラーニング = モデル側の話
教師あり・教師なし・強化学習 = 学ばせ方の話
です。
重みとバイアスをどう理解するか
ニューラルネットワークの学習は、かなり雑にいうと 数字の調整ゲーム です。
その中心にいるのが、重みとバイアスです。
重み
重みは、入力をどれだけ強く見るか を表す数字です。
たとえばスパム判定なら、
- 「無料」には強めの重み
- 「今すぐ」にも強めの重み
- 信頼できる送信元には逆向きの重み
のように、各特徴の効き方を学習で調整していきます。
つまり重みは、入力ごとの重要度 です。
バイアス
バイアスは、全体の判定基準を少しずらすための値 です。
重みだけだと「どの特徴をどれくらい重視するか」は決められますが、
「そもそもどの位置を基準に判定するか」の微調整がしにくいです。
そこでバイアスを足して、
- 少しスパム寄りに見る
- 少し通常メール寄りに見る
といった全体調整をします。
なので、
- 重み = 個別評価
- バイアス = 全体補正
と覚えると分かりやすいです。
活性化関数は何をしているのか
活性化関数は、重みをかけて足した結果を、そのまま流さず少し変形する関数 です。
なぜ必要なのか
活性化関数がないと、層を何段重ねても結局は ただの線形計算 にまとまってしまいます。
つまり、深くした意味がかなり薄れます。
現実のデータは、
- 画像
- 音声
- 文章
- 売上や需要の変化
のように、単純な直線だけでは表しにくいものばかりです。
そこで活性化関数を入れて 非線形性 を作ることで、複雑な特徴や境界を扱えるようにします。
一言でいえば、活性化関数は ニューロンがどのくらい反応するかを決める仕組み です。
ReLU・Sigmoid・Softmax の使い分け
G検定ではこの3つの役割の違いを押さえておくとかなり楽です。
ReLU
ReLU は、0より小さい値は0にし、正の値はそのまま通す関数 です。
イメージとしては、
- 不要な信号は切る
- 必要な信号は通す
という動きです。
主に 隠れ層 で使われます。
計算が軽く、勾配消失が起きにくいため、今のディープラーニングでも定番です。
Sigmoid
Sigmoid は、1つの値を0から1の範囲に押し込める関数 です。
そのため、
- スパムか非スパムか
- 合格か不合格か
のような 二値分類の出力層 で使われることがあります。
ざっくり言うと、確率っぽい値に変える関数 です。
Softmax
Softmax は、複数の出力値を、合計1になる確率分布っぽい形に変える関数 です。
たとえば画像分類で、
- 猫 0.8
- 犬 0.15
- 鳥 0.05
のように、複数候補の中でどれが有力かを表すのに向いています。
主に 多クラス分類の出力層 で使います。
まずはこの対応で覚える
- ReLU = 隠れ層でよく使う
- Sigmoid = 二値分類の出力層
- Softmax = 多クラス分類の出力層
で十分戦えます。
誤差関数、誤差逆伝播法、勾配降下法の関係
この3つは名前が固くて似ているので、役割で分けるのが大事です。
誤差関数
誤差関数は、予測と正解がどれくらいズレているか を1つの数字で表したものです。
つまり、モデルの成績表のようなものです。
誤差逆伝播法
誤差逆伝播法は、どの重みやバイアスが、どれだけ間違いに関係したかを出力側から逆向きにたどって計算する方法 です。
一言でいうと、どこをどれだけ直すべきかを計算する方法 です。
勾配降下法
勾配降下法は、誤差が減る方向へ、重みやバイアスを少しずつ動かす方法 です。
山を下るイメージで説明されることが多く、
- 山の高さ = 誤差の大きさ
- 今の位置 = 今の重みやバイアス
- 谷底 = 誤差が小さい状態
と考えると分かりやすいです。
3つの関係を一本にすると
学習中は、ざっくり次の流れです。
- 順伝播で予測を出す
- 誤差関数でズレを見る
- 誤差逆伝播法で修正量を計算する
- 勾配降下法で実際に重みやバイアスを更新する
つまり、
- 誤差逆伝播法 = 計算係
- 勾配降下法 = 更新係
です。
訓練データ・テストデータ・本番データの違い
ここも混ざりやすいですが、役割で分けるとすっきりします。
訓練データ
モデルを 学習させるためのデータ です。
ここでは、
- 予測する
- 正解と比べる
- 誤差を出す
- 重みやバイアスを更新する
という学習を行います。
テストデータ
学習が終わったモデルの 実力確認 に使うデータです。
ここでも予測や評価はしますが、通常は 重みを更新しません。
模試を受けるイメージです。
本番データ
実運用で入ってくる 未知のデータ です。
ここでは基本的に 予測するだけ です。
その場で正解が分からないことも多いため、教師あり学習の意味での誤差は通常その場では計算できません。
ここで大事なこと
「誤差関数を最小化する」という説明は、まずは 訓練データで正解ラベルが分かっているときの話 と考えて大丈夫です。
いまのAIでどう使われているのか
G検定では理論が中心ですが、今のAIとのつながりを知っておくと理解しやすくなります。
画像系AI
画像認識や画像解析では、今でも CNN 的な考え方 は重要です。
局所的な特徴を見る発想は、画像処理の土台として残っています。
文章・時系列データ
RNN や LSTM は、今の最前線で主役というより 順番のあるデータをどう扱うかを理解するための重要な通過点 です。
生成AIと大規模言語モデル
現在の自然言語処理や生成AIでは、Attention と Transformer が中心です。
文全体を見ながら重要な関係をまとめて扱えるため、LLM の核になっています。
学習の裏側
モデルの形が CNN でも Transformer でも、
- 重みとバイアス
- 活性化関数
- 誤差関数
- 誤差逆伝播法
- 勾配降下法
といった考え方は、今のAIでも学習の土台として使われています。
つまり、G検定で学ぶ基礎は「昔の話」ではなく、現代のAIの下地そのものです。
G検定向けに最後これだけ押さえる
まずは次の対応を頭に入れておくと整理しやすいです。
- ディープラーニング = 深いニューラルネットワークを使う方法全体
- 教師あり・教師なし・強化学習 = 学習の枠組み
- 重み = 入力ごとの重要度
- バイアス = 全体の基準調整
- 活性化関数 = 非線形性を入れて複雑な表現を可能にする仕組み
- 誤差逆伝播法 = どこをどう直すか計算する方法
- 勾配降下法 = 誤差が減る方向へ実際に更新する方法
- 訓練データは学習用、テストデータは評価用、本番データは運用用
まとめ
ディープラーニングで急に分からなくなるのは、モデルの話と学習方法の話と更新手順の話が一気に出てくるからです。
まずは 何の話をしている用語なのか を分けるだけで、かなり見通しが良くなります。
重み・バイアス・活性化関数がモデルの部品で、誤差逆伝播法と勾配降下法が学習中の修正役、と整理できれば十分前進です。
あとは ReLU、Sigmoid、Softmax の使い分けと、訓練・テスト・本番データの違いを押さえると、ディープラーニングの章がかなり読みやすくなります。