optuna.visualizationのグラフを保存しようとして、幾つか気づきがありましたので、記載します。

環境構築手順

Optunaは、Preferred Networksが提供する、ハイパーパラメータ自動最適化フレームワークです。

optunaのvisualizationは、最適化の工程をプロットするユーティリティ関数です。
様々なグラフを描画できます。
https://optuna.readthedocs.io/en/stable/reference/visualization/index.html

visualizationは、内部でplotlyを利用します。
plotlyはグラフを作成するためのライブラリです。
https://plotly.com/python/

環境構築はこちらのインストールガイドが参考になります。
https://github.com/plotly/plotly.py#jupyterlab-support-python-35

私はウェブブラウザではなく、コマンドプロンプトから、グラフを保存したかったので、Kaleidoをインストールし、無事、保存できました。

Kaleidoは画像を保存するためのライブラリです。
https://pypi.org/project/kaleido/

batch_sizeとlrの関係

注意事項

以下をご注意ください。

plotlyはversion4.9以上を利用する必要があります。google colaboratoryのplotlyはversion4.4.1なので、アップデートする必要があります（2021/1/18）。
https://github.com/plotly/Kaleido

インストールガイドにはOrca/psutilを使う方法も記載されていますが、正しく機能しない場合があります。

Plotlyをオフラインで使う方法もありますが、ウェブブラウザが開かれてしまいます。

matplotlibバージョンもあります。
stableバージョンでは、contour、sliceはサポートされていません。
https://optuna.readthedocs.io/en/stable/reference/visualization/matplotlib.html

latestバージョンでは、contour、sliceもサポートされています。
https://optuna.readthedocs.io/en/latest/reference/visualization/matplotlib.html

matplotlibはplotlyより低品質な印象です。

Matplotlib backend for visualization functions
https://github.com/optuna/optuna/issues/1539