VisualStudio2005を使っているとき、プロジェクトの参照設定に「未使用の参照」ボタンがあった。プロジェクトが参照設定していdll等から使用していないものを削除する機能である。
ただこれがVisualStudio2015だとなぜかなくなっている。

結論

VisualStudio2015のアドオンであるResolveURを使えばいいらしい。
会社のPCに制度上の理由で入れられなかったので未検証。

未使用の参照を消す意味は?

不要な参照がなくなってきれいになる。くらいらしい。
一応動作速度が改善するらしいが、体感できるほど早くなるわけではないらしい。

未使用の参照がある状態でビルドを行い、その後参照先のdllを削除した場合でも、そのdllを使用しようとしない限りエラーは発生しない。そのため、使用していない参照がなくなったとしてもEXEの実行には問題は発生しない。