コマンドプロントからkeytoolコマンドを使うことによって編集を行う。
自分の環境ではkeytoolはC:\Program Files\Java\jre1.8.0_65\binに移動後実行できる。（おそらくパスを通せばどこでも実行可能）
keyを削除
keytool -delete -alias [key name] -keystore [keystoreファイルのパス]
keystoreのパスワード変更
keytool -storepasswd -keystore [keystoreファイルのパス]
keyのパスワードを変更
keytool -keypasswd -alias [key name] -keystore [keystoreファイルのパス]