表題のエラーが発生したが原因が特定しづらかったので困っている方の参考になれば
このエラーは毎回発生するわけではなく1/5000ぐらいの確率で発生していた。

使っていたバージョン

.NETでMysqlを扱うライブラリMySql.Dataを利用していた。バージョンは8.0.23でMySQLのバージョンと合わせていた。

原因

MySql.Dataのバージョン8.0.23から8.2.0に上げたら表題のエラーが発生しなくなった。リリースノートを見てもそれらしきバグフィックスは見当たらないが改善はされている模様。

とりあえず最新を使った方が良さそう

Unable to connect to any of the specified MySQL hosts.

で調べるとConnectionStringの順序が違う、またはさまざまな要因が検索されるので原因特定するのが難しい。MySql.DataのバージョンがMySQLのバージョンと同じ単位であるのでややこしいが、最新にするとバグフィックスされるので何も考えずに最新にするのが良さそう。このエラーが発生しなくなったが、何かしらエラーが起きていたことには変わりがなく、より明確なエラーメッセージが返ってくるようになった。めでたし