optuna

このライブラリを一言で表すと、ハイパーパラメータを自動で探索するツールです。
機械学習のモデルのチューニングを手軽にやりたいかたにおすすめの動画になっています。プリファードネットワークはオプチューナを用いてgoogleの物体検出コンペで準優勝しました。では、オプチューナの三つの特徴を説明します。その前にハイパーパラメータとパラメータについて説明します。
　ハイパーパラメータはモデルを学習する前の設定です。それに対してパラーメータは学習中に作られる設定です。ハイパーパラメータを手動で探索する場合、一つ一つ自分で探索しないといけないため、大変時間がかかりるため嫌ですよね。オプチューナを使うとハイパーパラメータを自動で探索することができます。このオプチューナの特徴を三つ紹介します。
　まず、一つ目はデファインバイランです。モデルの作り方にはデファインアンドランとデファインバイランがあります。デファインアンドランはモデルを定義しコンパイルして学習をします。学習は速いですが、学習中にモデルを変えることができません。デファインアンドランはモデルの定義と学習を同時に行います。そのため、学習中にモデルを変更することができます。
次に、二つ目が枝刈りです。学習の初期段階で評価値が低いものを予測し学習を停止することができます。これによって余計な学習をしなくて済みます。時間の節約になりますね。
三つ目は分散最適化です。機械学習は計算量が多く時間がかかります。複数のパソコンで処理をすることで計算速度が上がります。
三つの特徴をまとめるとこうなります。一つ目はデファインバイランです。モデルの定義と学習を同時に行うことができます。二つ目は枝刈りです。学習の初期段階で評価値が低いものを停止します。三つ目は分散最適化です。複数のパソコンで処理を行うことで計算速度が上がります。