ベイズ最適化 資料置き場

適当に関連の文献やWebサイトを載せてます。自分のメモ代わりです。

書籍

(2023/11/14追記)
日本語版での良書が出ました！

• ベイズ最適化: 適応的実験計画の基礎と実践
  • ガウス過程
  • PESなどの獲得関数
  • Optuna (Botorch Sampler含む)
  • 多目的、制約付き、高次元など多くのトピックを含んでる

この一冊読めばベイズ最適化の多くの領域に詳しくなれそう

• まだ完成していないがガウス過程から獲得関数まで多様なトピックが盛り込まれた教科書でpdfが公開されている
  https://github.com/bayesoptbook/bayesoptbook.github.io

フレームワーク

• Bayesian Optimization
  • python ライブラリ
• BoTorch
  • 論文: A Framework for Efficient Monte-Carlo Bayesian Optimization(2020)
  • Metaが中心となってPyTorch、GpyTorchをベースに開発。Metaの新しい論文が実装されている。
• Ax
  • BoTorchは研究者向けっぽいが、Axはユーザインタフェースがもう少し使いやすい
• Oputuna
  • PFNが開発. Surrogate functionにTPEを用いており、BoTorchSamplerなども入っているっぽい. 非常に使いやすい。2024年にGPSamplerも追加された
• GPyOpt
• Spearmint
  • 初期の実装?数年前の論文だとよくこのパッケージの実装と比較しているのを見る。
• SMAC3
  • SMAC3: A Versatile Bayesian Optimization Package for Hyperparameter Optimization(2022)
  • surrograte functionにrandom forestを用いたベイズ最適化ライブラリ
  • 2022年に大きなアップデート
  • 正直SMAC系はHutterの2011年くらいの論文しか知らなかったがrandom forest系のBOも多く研究されていたようだ。知らなかった。

論文

有名どころの論文

• Taking the Human Out of the Loop:A Review of Bayesian Optimization(2015)
• Practical Bayesian Optimization of Machine Learning Algorithms(2012)
• A Tutorial on Bayesian Optimization(2018)

最近の動向をまとめたサーベイ論文

• Recent Advances in Bayesian Optimization(2022)

BoTorchで実装されている最新研究リスト

• https://botorch.org/v/latest/docs/papers

ためになる資料,webサイト

• ACML 2020 Tutorial: Recent Advances in Bayesian Optimization
• 機械学習による統計的実験計画（ベイズ最適化を中心に)
• 機械学習におけるハイパーパラメータ最適化の理論と実践 Part.1
• An Illustrated Guide to the Knowledge Gradient Acquisition Function
• ベイズ最適化ツールBoTorch入門
• [BoTorch]Monte Carlo獲得関数とその最適化

ガウス過程

Gaussian Processes for Machine Learning(2006)
GPyTorch: Blackbox Matrix-Matrix Gaussian
Process Inference with GPU Acceleration(2018)
派生研究の論文をいくつか
※自分が気になったものを載せているので研究領域を網羅しているわけではないのでご注意下さい　

バッチベイズ最適化

• The reparameterization trick for acquisition functions(2017)
• Maximizing acquisition functions for Bayesian optimization(2018)
• Fast Computation of the Multi-points Expected Improvement with Applications in Batch Selection(2012)
• Batch Bayesian Optimization via Local Penalization(2016)

高次元

• Bayesian Optimization in a Billion Dimensions via Random Embeddings(2016)

• Re-Examining Linear Embeddings for High-Dimensional Bayesian Optimization(2020)

• Scalable Global Optimization via Local Bayesian Optimization(2020)

• High-Dimensional Bayesian Optimization with Sparse Axis-Aligned Subspaces.(2021)

• Increasing the Scope as You Learn: Adaptive Bayesian Optimization in Nested Subspaces(2022)

• A survey on high-dimensional Gaussian process modeling with application to Bayesian optimization(2022)

• A survey and benchmark of high-dimensional Bayesian optimization of discrete sequences(2024)

• 手前味噌ですが記事書きました

Multi Task

• Multi-Task Bayesian Optimization(2013)

Multi Objective

Multi Fidelity

• Freeze-Thaw Bayesian Optimization(2014)
• Practical Multi-fidelity Bayesian Optimization for Hyperparameter Tuning (2019)
• A Generalized Framework of Multifidelity Max-Value Entropy Search Through Joint Entropy

safe bayesian optimization

TPE

• Tree-Structured Parzen Estimator: Understanding Its Algorithm Components and Their Roles for Better Empirical Performance