参考: http://stackoverflow.com/questions/18923095/delete-provisioning-profile-from-xcode-5
Xcode を立ち上げ、いちど削除したいプロビジョニングプロファイルを選択し、その後ドロップダウンリストの中から[other...]を選択
すると上記のようにID(?)が表示されるので控えておくなどする。
念のためXcodeを閉じ、その後、~/Library/MobileDevice/Provisioning Profiles をFinderなどで開いて、先ほどのIDに該当するファイルを削除する。
ちゃんとしたやり方があれば教えてください。