名前変更等で削除されたファイルがキャッシュに残り続け、Organize Imports時に候補になってしまう現象への対処方法です。

コマンドパレット（F1キー等で起動）で以下のコマンドを実行します。

Java: Clean Java Language Server Workspace

一応スクショも。

VSCodeのキャッシュのクリア等で検索すると Clear Editor History コマンドが出て来ますが、この現象に対してそちらは効果がありません。
同じような原因でビルドエラーになった際、たまたま今回のコマンドに気づいたのでメモとして残しておきます（通常はすぐビルドするから今回のような現象でハマらないのかも知れない…）。