使用する拡張機能

無料版は設定できる接続が最大3つまでなので注意

データベースへ接続する手順

VSCodeのサイドバーで拡張機能を選択し、「MySQL」を検索してインストールします。

インストールが完了すると、サイドバーに「MySQL」のアイコンが表示されますので、そちらをクリックします。
クリックすると、 Create Connection ボタンが表示されますのでクリックします。

接続設定の画面が開きますので、必要な情報を入力していきます。
入力できたら Connect で接続できるか確認します。

以下のように表示されれば成功ですので、設定を保存します。

踏み台サーバを経由したMySQLへの接続を設定する事も可能です。

SSH Tunnel のトグルボタンをONにし、開いた下側のパネルに踏み台サーバへの接続情報を入力します。
上側のパネルには最終的に接続したいMySQLの接続情報を入力します。

リモートエクスプローラーと併用する場合は、あくまでリモート接続したサーバ上からの接続設定になりますので、注意が必要です。上手く接続できない場合は、データベース接続用に別プロジェクトを開くなどしてから接続するといった事が必要になります。