頭悪そうな記事になっていますがご了承ください
Vagrant のSynced FolderはVM側のホームディレクトリ全体を指定してはいけないです。
synced folder でシンボリックリンクを作成することは可能ですが、ハードリンクを作成することは出来ないので、
.rbenvを使ったrubyのインストールやらが出来なくなります。
というかパッケージマネージャー系はほぼ無理になります。
しかし、シンボリックリンクが張れているせいで、もう一度一から環境を作り直そうとして、vagrant destroyしてもdotfiles関連の設定がホスト側のフォルダに残り、生きているために、一見destroy出来ていないように見えます。
これに気づくまでに3回くらいdestoryとupを繰り返して、Vagrantfileをcloneし直すところからやり直したところで気づきましたorz
なんでホームディレクトリ全体をsynced folderにしたんだ > 昔の自分