tldr
パラメータチューニングについて勉強しまいした。
ハイパーパラメータの探索手法
- 手動での調整
計算時間は比較的かからないが、作業者がチューニングする手間がかかる - グリッドサーチ／ランダムサーチ
グリッドサーチは、各パラメータに対して候補を定め、それらの組み合わせをすべて計算する方法です。ランダムサーチは、各パラメータに対して候補を定め、パラメータごとにランダムに選んだ組み合わせを作り、それを計算することを設定した回数だけ繰り返す方法です。BergstraandBengioによると、グリッドサーチよりもランダムサーチの方が効率が良いとのことです。 - ベイズ最適化
以前に計算したパラメータの履歴に基づいて、次に探索すべきパラメータをベイズ確率の枠組みを用いて選択する方法
チューニングで設定すること
- ベースラインとなるパラメータ
- 探索する対象となるパラメータ
- 手動か自動か
- 評価の枠組み