Javaファイルの整理整頓

Javaファイルの整理整頓

Javaを学習中の今、Javaコードをよく書いているのですが.javaファイルに加えて.classファイルも生成されるのでディレクトリ内がゴチャゴチャになっています。
整理整頓をしようと試みていますが、うまく(?)できません。
例えば、Testディレクトリにa.java b.java c.javaがあって実行するとそれぞれの.classも生成されてゴチャっとしてしまいます。そこで私はTestディレクトリにa,b,cという三つのディレクトリを作成し、それぞれ移動させて実行すると、

エラー: メイン・クラスtestを検出およびロードできませんでした

というエラーが出てしまいました。PATHをいじるのかな？と思っているところですが、それをどうやって何をすればいいのかわからないままでいます。
さらに、関係のないディレクトリでjavaコードを書くと

~~~.java is not on the classpath of project ~~~~~~~, only syntax errors are reported

という警告(warning)が出てしまいます。実行はできますが、なんだか嫌なので解消したいです。
Macbook airでVscodeを使っています。

これら二つの解決法とともに、javaコードを書く際のファイルの整理整頓法も教えていただけると助かります。(できれば他の言語のファイル整理方法も参考にしたいです。)
よろしくお願いします。