はじめに
アンサンブル学習の全体像と、「弱学習器」「強学習器」「バギング」「ブースティング」といった関連用語の構造を整理します。
1. 全体像の整理：目的・手段・材料
アンサンブル学習の関連用語は、「材料」「手段」「完成品」の3つの役割に分けて整理すると関係性が明確になります。
- 材料（パーツ）：弱学習器
- 手段（作り方）：アンサンブル学習（バギング、ブースティングなど）
- 完成品（目的）：強学習器
つまり、アンサンブル学習とは 「単体では精度の低い弱学習器（材料）を複数組み合わせる（手段）ことで、精度の高い強学習器（完成品）を作る手法」 と定義できます。
2. 用語の解説
弱学習器 (Weak Learner)
- 概要: 単体では予測精度が低く、ランダムな予測よりわずかに良い程度のモデルです。
- 特徴: 構造が単純であるため計算コストが低く、過学習（オーバーフィッティング）しにくいという特性があります。
- 具体例: 決定株（Decision Stump：条件分岐を1回のみ行う決定木）など。
強学習器 (Strong Learner)
- 概要: 単体で極めて高い予測精度を出せる能力を持ったモデルです。
- 位置づけ: アンサンブル学習によって複数の弱学習器を組み合わせた結果として生成される最終的なモデル（ランダムフォレストやXGBoostなど）は、強学習器に該当します。また、ニューラルネットワークやSVMのように、最初から単体で高い精度を出せるアルゴリズムも強学習器と呼ばれます。
アンサンブル学習 (Ensemble Learning)
複数のモデル（主に弱学習器）を組み合わせて、汎化性能や予測精度を向上させる学習手法です。アプローチの違いにより、主に「バギング」と「ブースティング」に大別されます。
① バギング (Bagging)
- 仕組み: 元のデータからランダムにサンプリングして複数のデータセットを作成し、並列（独立）に複数のモデルを学習させます。最終的な予測は、各モデルの出力の多数決（分類）や平均（回帰）で決定します。
- 目的: モデルのバリアンス（予測のばらつき）を抑え、過学習を防ぎます。
- 代表例: ランダムフォレスト
② ブースティング (Boosting)
- 仕組み: 複数の弱学習器を直列に繋ぎ、順番に学習させます。前のモデルが予測を誤ったデータに対して重みを大きくし、次のモデルがその弱点を重点的に学習するよう補正していきます。
- 目的: モデルのバイアス（予測のズレ）を減らし、全体の予測精度を極限まで高めます。
- 代表例: AdaBoost、勾配ブースティング (XGBoost, LightGBMなど)
3. バギングとブースティングの比較
試験対策として、両者の違いを以下の表にまとめます。
| 特徴 | バギング (Bagging) | ブースティング (Boosting) |
|---|---|---|
| モデルの学習順序 | 並列（同時に独立して学習） | 直列（順番に学習） |
| データの使い方 | ランダムに抽出 | 前のモデルの誤分類データを重視 |
| 主な目的 | 過学習の抑制（バリアンスの低減） | 予測精度の向上（バイアスの低減） |
| 代表的な手法 | ランダムフォレスト | AdaBoost、XGBoost、LightGBM |
まとめ
- 弱学習器そのものがバギングやブースティングを指すわけではありません。弱学習器はアンサンブル学習の「内部で使われるパーツ」です。
- アンサンブル学習は、複数の弱学習器を組み合わせて強学習器を構築するための「手段」です。
おわりに
G検定の学習を進める中で、「弱学習器」や「アンサンブル学習（バギング・ブースティング）」といった用語の階層関係がごちゃごちゃになってしまいがちでした。しかし、今回のように「材料」「手段」「完成品」という役割に分けて整理したことで、それぞれの概念のつながりがスッキリと腑に落ちました。