証明書をお引っ越しするための記事はいくつもあるんですが、再発行するための方法がどこにも書いていなかったので。
引っ越しの記事は例えばこれ。

1. 認証局に証明書を要求

キーチェーンアクセスを起動して、[キーチェーンアクセス]>[証明書アシスタント]>[認証局に証明書を要求...]

メールアドレスと通称を入力。（この文字列が何のためにあるのかは不明。ログイン情報と同じである必要とかはない。。。一応連絡の取れるメールアドレスにしてる。)
ディスクに保存にチェック。

そして適当な場所に保存。

2. Generate your certificate

https://developer.apple.com/account/ios/certificate/create
ここから、[iOS App Development]にチェックを付けて、[Continue]を押していく。
Upload CSR file.でさっき作った証明書を選択。そして[Continue]。

このタイミングでしか秘密鍵付きの証明書はダウンロードできない。
確実にダウンロード。

3. 登録

ダウンロードしたファイルを開くと、自動的にキーチェーンアクセスに登録される。
登録した証明書が左の▶で開けることを確認。
開けないのであれば、秘密鍵がついていない。

補足

ProvisioningProfileは全部新しい証明書を選択して作り直さないと、新しい証明書が登録されているPCでビルドが出来ません。