Vagrant のSynced FolderはVM側のホームディレクトリ全体を指定してはいけないです。

synced folder でシンボリックリンクを作成することは可能ですが、ハードリンクを作成することは出来ないので、
.rbenvを使ったrubyのインストールやらが出来なくなります。
というかパッケージマネージャー系はほぼ無理になります。

しかし、シンボリックリンクが張れているせいで、もう一度一から環境を作り直そうとして、vagrant destroyしてもdotfiles関連の設定がホスト側のフォルダに残り、生きているために、一見destroy出来ていないように見えます。

なんでホームディレクトリ全体をsynced folderにしたんだ > 昔の自分