2024.10.17wordの整理
機械学習モデルの性能を上げるには？
- モデルの性能を最適化する方法
機械学習では「ハイパーパラメータチューニング」という工程がとても重要です。これは、モデルの動きを決めるいくつかの設定値（例：学習率、木の深さ、バッチサイズなど）を調整して、性能を最大限に引き出す作業です。
代表的なチューニング手法：
| 手法名 | 特徴 |
|---|---|
| グリッドサーチ | あらかじめ決めた値の組み合わせをすべて試す |
| ランダムサーチ | ランダムに値を選んで効率よく探索する |
| ベイズ最適化 | 過去の結果をもとに、次に試すべき良さそうな値を選ぶ |
| Optuna, Ray Tune | 最新の自動チューニングライブラリ（Python対応） |
| AutoML（例：Google AutoML） | モデルの作成・チューニングを全部自動でやってくれる |
- MLflowによる実験管理
MLflowは、機械学習の**「実験ノート」**のような役割を果たします。
MLflowでできること：
試したハイパーパラメータの記録
評価指標（例：精度、損失）の記録
作成したモデルファイルの保存
Web上で実験の結果を比較・確認できる
これにより、再現性（＝あとで同じ結果が出せること）を確保できます。
- モデル学習に使う3つのデータ
| データ種別 | 目的 |
|---|---|
| Trainデータ（訓練） | モデルを学習させるためのデータ |
| Validationデータ（検証） | 学習途中での性能確認・ハイパーパラメータ調整に使う |
| Testデータ（テスト） | 最後に、未知のデータへの性能（汎化能力）を評価 |
- 損失（Loss）の見方
Train Loss：訓練データに対する誤差
Validation Loss：検証データに対する誤差
理想のパターンは：
両方とも減少している
TrainとValidationのLossが近い
Validation Lossが途中から増えていない（→過学習していない）
勾配降下法（Gradient Descent）とは？
勾配（こうばい）とは
日常的には：坂の傾き（例：「急な坂道」）
数学では：直線の傾き（方向係数）。x軸とつくる角度の変化の割合。
物理では：ある量（例：温度・速度）の変化の速さ → 勾配ベクトル
機械学習での勾配の役割：
ある関数の最小値を見つけたいとき、今いる場所からどっちに進めばいいかを「勾配（傾き）」が教えてくれます。
勾配降下法の流れ：
最初に適当な場所からスタート
その地点での勾配（傾き）を計算
勾配の逆方向に少しだけ移動（←これを「学習率」で決める）
それを何回も繰り返して、誤差が小さくなるようにする
勾配降下法で使う専門用語：
| 用語 | 意味 |
|---|---|
| 勾配 (Gradient) | 関数の傾き。どっちに進めば最小値に近づくかを示すベクトル。 |
| 学習率 (Learning Rate) | 一回の更新でどのくらい動くか（ステップの大きさ） |
| 損失関数 (Loss Function) | モデルの間違いの度合いを示す関数 |
| 最適化 (Optimization) | 損失を最小にするパラメータを探すこと |
効率的な実験管理のためにやるべきこと
コードとデータのバージョン管理（Gitなど）
設定ファイル（YAMLなど）で条件を管理
Dockerや仮想環境で環境を固定する
MLflowなどで実験ログを自動記録
これにより、再現性とチーム内の共有がとてもやりやすくなります。