使用する box ファイルにもよるのかもしれませんが、vagrant up や vagrant halt 等のコマンドは内部的に「公開鍵認証による VM への SSH 接続」を行っているようです。その際に使用している秘密鍵のありかは、VM が立ち上がっている状態で vagrant ssh-config すると確認できます。
vagrant box add centos package.boxでboxを追加した時点で、「~/.vagrant.d/boxes/centos/0/virtualbox/vagrant_private_key」の秘密鍵が生成されているのを確認。
逆にvagrant box remove centosで秘密鍵が削除される。
つまり、boxの中に「vagrant_private_key」が内包されているか、vagrant自体のルールで決まった「vagrant_private_key」が生成されているのかもしれない。
ちなみに、windowsでエクスポートしたboxをmacでインポートした際も、まったく同じ内容の「vagrant_private_key」が生成されているのを確認。