はじめに

前回は、SageMaker Data Wrangler を中心に、
モデル学習前のデータ加工と特徴量作成について整理しました。

今回は、モデルを実際に学習させる工程である Training と、
モデル性能を改善するために重要な ハイパーパラメータチューニング について整理します。

機械学習では、同じデータを使っていても、

学習率をどう設定するか
何回学習させるか
どのくらいのデータ単位で学習するか
木の深さをどこまで許すか
正則化をどれくらい効かせるか

によって、モデルの性能が大きく変わることがあります。

本記事では、

Training とは何か
ハイパーパラメータとは何か
よく出るハイパーパラメータ
チューニングとは何か
Grid Search / Random Search / Bayesian Optimization の違い
SageMaker での考え方

を、初心者にも分かりやすく整理します。

🎯 対象読者

SageMaker Training Job の基本を整理したい方
ハイパーパラメータの意味を理解したい方
learning rate、epoch、batch size の違いが曖昧な方
チューニングの考え方を基礎から学びたい方
AWS の AI / ML 系資格を勉強している方

🧩 まず結論：Training は学習、チューニングは設定探し

最初に大きく整理すると、以下のようになります。

用語	意味
Training	データを使ってモデルに規則を学習させること
Hyperparameter	学習前に人やシステムが設定する値
Tuning	複数の設定を試して、より良い組み合わせを探すこと

一言で言うと、

Training = モデルを学習させる
Tuning = モデルが良く学習できる設定を探す

というイメージです。

モデルはデータからパターンを学習しますが、
その学習の進め方を決める設定がハイパーパラメータです。

🏋️ Training とは？

Training とは、
既存のデータを使って、モデルに規則やパターンを学習させること です。

たとえば、過去の顧客データを使って、

この顧客は商品を購入しそうか

を予測するモデルを作る場合、モデルは過去データから以下のような傾向を学びます。

購入回数が多い顧客は、再購入しやすい
登録期間が長い顧客は、購入率が高い
特定の商品ページを見た顧客は、購入しやすい
過去にキャンペーンを利用した顧客は、反応しやすい

このように、データから規則を見つける工程が Training です。

☁️ SageMaker Training Job のイメージ

SageMaker では、モデル学習を Training Job として実行します。

基本的な流れは以下です。

訓練データを S3 に置く
↓
Training Job を起動する
↓
SageMaker が学習用インスタンスを起動する
↓
アルゴリズムや学習コードを実行する
↓
モデル成果物を生成する
↓
モデル成果物を S3 に保存する

Training Job は、モデルを学習するための一時的なジョブです。

学習が終わると、結果としてモデルファイルが作られます。
そのモデルファイルを使って、Endpoint や Batch Transform で予測を行います。

⚙️ ハイパーパラメータとは？

ハイパーパラメータとは、
モデルがデータから学習する値ではなく、学習前に人やシステムが設定する値 です。

英語では Hyperparameter と呼ばれます。

一言で言うと、

ハイパーパラメータ = モデル学習時の設定項目

です。

たとえば、以下のような設定があります。

learning rate
epoch
batch size
max depth
number of trees
regularization

これらは、モデルが自動的にデータから学ぶ値ではありません。
学習を始める前に、ある程度決めておく必要があります。

🧠 パラメータとハイパーパラメータの違い

ここで混乱しやすいのが、
パラメータ と ハイパーパラメータ の違いです。

種類	意味	例
パラメータ	モデルが学習中にデータから獲得する値	重み、係数
ハイパーパラメータ	学習前に設定する値	学習率、epoch、batch size

たとえば、線形回帰モデルでは、各特徴量に対する重みは学習によって決まります。
これはパラメータです。

一方で、学習率や学習回数は、学習前に設定するものなのでハイパーパラメータです。

📌 よく出るハイパーパラメータ

代表的なハイパーパラメータを整理します。

ハイパーパラメータ	日本語でのイメージ	影響
Learning rate	学習率	モデルが一度にどれくらい更新されるか
Epoch	学習回数	データ全体を何回学習するか
Batch size	バッチサイズ	一度に何件のデータで学習するか
Max depth	木の最大深さ	決定木系モデルの複雑さ
Number of trees	木の本数	Random Forest や XGBoost などの木の数
Regularization	正則化	過学習を抑える強さ

それぞれの設定は、モデルの精度、学習速度、過学習のしやすさ、計算コストに影響します。

📉 Learning Rate（学習率）とは？

Learning Rate は、
モデルが学習するときに、どれくらい大きく更新するか を決める値です。

一言で言うと、

Learning rate = 学習時の歩幅

です。

学習率が大きすぎると、最適な位置を飛び越えてしまい、学習が不安定になることがあります。

一方で、学習率が小さすぎると、少しずつしか進まないため、学習に時間がかかります。

🧪 Learning Rate のイメージ

山を下りながら一番低い場所を探すイメージで考えると分かりやすいです。

Learning Rate	イメージ	起きやすいこと
大きすぎる	大股で進む	最適点を飛び越えて不安定
小さすぎる	小さく進む	学習が遅い
適切	ちょうどよく進む	安定して学習しやすい

Learning Rate は、多くのモデルで非常に重要なハイパーパラメータです。

🔁 Epoch とは？

Epoch は、
訓練データ全体を何回繰り返して学習するか を表します。

一言で言うと、

Epoch = 訓練データを何周するか

です。

たとえば、訓練データ全体を1回学習したら 1 epoch、
10回繰り返したら 10 epochs です。

Epoch が少なすぎる場合

十分に学習できず、underfitting になる可能性があります。

Epoch が多すぎる場合

訓練データに合わせすぎて、overfitting になる可能性があります。

そのため、epoch は多ければよいというものではありません。

📦 Batch Size とは？

Batch Size は、
1回の更新に使うデータ件数 を表します。

一言で言うと、

Batch size = 一度に何件ずつ学習するか

です。

たとえば、訓練データが10,000件ある場合、

batch size = 100 なら、100件ずつ処理する
batch size = 1,000 なら、1,000件ずつ処理する

というイメージです。

Batch size は、学習の安定性やメモリ使用量、学習速度に影響します。

🌳 Max Depth とは？

Max Depth は、決定木系モデルでよく出てくるハイパーパラメータです。

木の深さをどこまで許すか を指定します。

木が深くなるほど、データを細かく分けることができます。
しかし、深すぎると訓練データに合わせすぎて overfitting しやすくなります。

Max depth が大きい = モデルが複雑になりやすい
Max depth が小さい = モデルが単純になりやすい

Random Forest や XGBoost のようなモデルでは、よく意識する設定です。

🌲 Number of Trees とは？

Number of Trees は、Random Forest や XGBoost などで使われる、
木の本数 を表すハイパーパラメータです。

木の本数を増やすと、モデルの安定性が上がることがあります。

ただし、本数を増やしすぎると、

学習時間が長くなる
推論時間が長くなる
コストが増える

可能性があります。

そのため、精度とコストのバランスを考える必要があります。

🛡 Regularization（正則化）とは？

Regularization は、
モデルが訓練データに合わせすぎないように制約をかける方法 です。

一言で言うと、

Regularization = 過学習を抑えるための仕組み

です。

Day 2 で整理した overfitting への対策として、正則化は非常に重要です。

モデルが複雑になりすぎると、訓練データにはよく合う一方で、
未知のデータに弱くなることがあります。

正則化は、このような過学習を抑えるために使われます。

🔧 チューニングとは？

チューニングとは、
ハイパーパラメータを調整して、モデルの性能を改善する作業 です。

一言で言うと、

Tuning = 良い設定の組み合わせを探す作業

です。

たとえば、最初に作ったモデルの精度が 80% だったとします。

その後、

learning rate を変える
epoch を変える
max depth を変える
regularization を変える

といった調整を行うことで、精度が 85% に上がるかもしれません。

このように、モデルの設定を試行錯誤しながら改善するのがチューニングです。

🧪 ハイパーパラメータチューニングの考え方

ハイパーパラメータチューニングでは、1つの設定だけを見るのではなく、
複数の設定の組み合わせを試します。

例えば、以下のような組み合わせです。

Learning Rate	Max Depth	Regularization
0.01	3	0.1
0.01	5	0.1
0.05	3	0.1
0.05	5	0.5

このように、複数の候補を試して、
validation data で最も良い結果を出した設定を選びます。

🧭 代表的なチューニング方法

ハイパーパラメータチューニングには、いくつか代表的な方法があります。

方法	説明
手動調整	経験や観察結果をもとに人が少しずつ調整する
Grid Search	事前に決めたすべての組み合わせを試す
Random Search	ランダムにいくつかの組み合わせを試す
Bayesian Optimization	過去の結果をもとに、次に試す設定を賢く選ぶ

それぞれ特徴が違うため、使いどころも変わります。

✋ 手動調整

手動調整は、
人が経験や結果を見ながらハイパーパラメータを調整する方法です。

たとえば、

学習率が高すぎて不安定そうなので少し下げる
max depth が深すぎて過学習しているので小さくする

といった判断です。

メリット

理解しながら調整できる
小規模な実験では始めやすい

デメリット

経験に依存しやすい
試せる組み合わせが限られる
再現性や網羅性が弱くなりやすい

🧱 Grid Search

Grid Search は、
指定したハイパーパラメータのすべての組み合わせを試す方法 です。

例えば、

learning rate: 0.01, 0.05
max depth: 3, 5

を指定した場合、以下の4通りをすべて試します。

Learning Rate	Max Depth
0.01	3
0.01	5
0.05	3
0.05	5

メリット

分かりやすい
指定範囲を網羅的に試せる

デメリット

組み合わせが増えると非常に時間がかかる
重要でないパラメータにも計算コストを使う
大規模モデルではコストが高くなりやすい

Grid Search はシンプルですが、候補が増えると急激に重くなります。

🎲 Random Search

Random Search は、
候補範囲の中からランダムに組み合わせを選んで試す方法 です。

Grid Search のように全組み合わせを試すのではなく、
決められた回数だけランダムに試します。

メリット

Grid Search より効率的な場合がある
広い範囲を探索しやすい
計算コストを制御しやすい

デメリット

運に左右される部分がある
最適な組み合わせを必ず見つけるとは限らない

実務では、Grid Search より Random Search の方が現実的な場合も多いです。

🧠 Bayesian Optimization

Bayesian Optimization は、
過去の試行結果をもとに、次に試すハイパーパラメータを賢く選ぶ方法 です。

一言で言うと、

Bayesian Optimization = これまでの結果を見ながら、次に良さそうな設定を選ぶ

というイメージです。

Grid Search や Random Search は、試行同士の結果をあまり深く活用しません。
一方で、Bayesian Optimization は、過去の結果から「次はこのあたりを試すと良さそう」と判断します。

メリット

少ない試行回数で良い設定を見つけやすい
計算コストを抑えやすい
高価な学習ジョブに向いている

デメリット

仕組みは少し複雑
完全に最適解を保証するものではない

大規模なモデルや、1回の学習コストが高い場合には、効率的な選択肢になりやすいです。

☁️ SageMaker でのハイパーパラメータチューニング

SageMaker には、ハイパーパラメータチューニングを支援する仕組みがあります。

イメージとしては、以下のような流れです。

試したいハイパーパラメータ範囲を指定
↓
複数の Training Job を実行
↓
評価指標を見ながら比較
↓
最も良い設定を選ぶ

たとえば、目的を

validation accuracy を最大化する
validation loss を最小化する

のように決めて、複数の学習ジョブを実行します。

SageMaker の試験対策では、
複数のハイパーパラメータの組み合わせを試し、評価指標に基づいて最適な設定を探す
という考え方を押さえておくとよいです。

📉 チューニングと過学習の関係

チューニングはモデル性能を上げるために重要ですが、
やり方を間違えると過学習につながることがあります。

例えば、validation data に対して何度も設定を調整しすぎると、
その validation data に合いすぎたモデルになる可能性があります。

そのため、最終的な性能確認には test data を使うことが重要です。

train data = 学習
validation data = チューニング
test data = 最終評価

この役割分担は、Day 3 の内容ともつながります。

☁️ AWS 試験での見られ方

AWS の AI / ML 系試験では、Training とハイパーパラメータチューニングは、
以下のような観点で問われる可能性があります。

観点 1：Training Job はモデルを学習する処理

Training Job は予測を返す仕組みではなく、
モデルを作るための処理です。

Training Job = モデルを学習する
Endpoint = リアルタイム推論
Batch Transform = 一括推論

この区別は重要です。

観点 2：ハイパーパラメータは学習前に設定する

ハイパーパラメータは、モデルがデータから自動で学習する値ではありません。

learning rate
epoch
batch size
max depth
regularization

などは、学習前に設定・調整する値です。

観点 3：チューニングは複数の設定を試す

ハイパーパラメータチューニングでは、
複数の設定を試し、評価指標に基づいて最も良いものを選びます。

複数の Training Job
↓
評価指標で比較
↓
最良のハイパーパラメータを選択

👨‍💻 実務目線で見ると

実務では、ハイパーパラメータチューニングは重要ですが、
無制限に試せばよいわけではありません。

なぜなら、チューニングには以下のコストがかかるからです。

学習時間
コンピューティングコスト
実験管理の負担
結果分析の手間

特に AWS 上で大きな Training Job を何度も実行すると、コストが増えやすくなります。

そのため、実務では以下のような考え方が大切です。

まずは小さく試す
重要なハイパーパラメータから調整する
評価指標を明確に決める
不要に探索範囲を広げすぎない
チューニング結果を記録する
最終的には test data で確認する

チューニングは「たくさん試すこと」ではなく、
目的に合った設定を効率よく探すこと が重要です。

🧠 ここは特に覚えたいポイント

覚え方 1

Training = データを使ってモデルを学習する

覚え方 2

Hyperparameter = 学習前に設定する値

覚え方 3

Learning rate = 学習時の歩幅
Epoch = 訓練データを何周するか
Batch size = 一度に何件ずつ学習するか

覚え方 4

Tuning = 複数のハイパーパラメータ設定を試して、良い組み合わせを探す

覚え方 5

Grid Search = 全組み合わせ
Random Search = ランダムに試す
Bayesian Optimization = 過去の結果をもとに賢く選ぶ

✅ まとめ

今回は、Training とハイパーパラメータチューニングについて整理しました。

重要なポイントは以下です。

Training は、既存データを使ってモデルに規則を学習させる工程
SageMaker では Training Job として学習処理を実行する
ハイパーパラメータは、学習前に設定する値
learning rate は学習時の更新幅に関係する
epoch は訓練データを何回学習するかを表す
batch size は一度に何件のデータを使って学習するかを表す
max depth や number of trees は木系モデルでよく使われる
regularization は過学習を抑えるために使う
チューニングは、より良いハイパーパラメータの組み合わせを探す作業
Grid Search、Random Search、Bayesian Optimization は代表的なチューニング方法

モデル性能を上げるには、アルゴリズムを選ぶだけでなく、
どのように学習させるか、どの設定で学習させるか を考えることが重要です。

📌 次回予告

次回は、学習済みモデルを実際に使うための

SageMaker Endpoint
Real-time Endpoint
Serverless Endpoint
Asynchronous Endpoint
Batch Transform

について整理します。

リアルタイム推論とバッチ推論の違いを、実務での使い分けも含めて分かりやすくまとめます。