タイトルの通りですが、/etc/letsencrypt/live/READMEの一部に以下のような記述があります。
WARNING: DO NOT MOVE OR RENAME THESE FILES!
Certbot expects these files to remain in this location in order
to function properly!
よって手作業で証明書を消したり移動するのは良くありません。
証明書を削除するには
では証明書を正しく削除するにはどうしたらよいのでしょうか？
こちらのガイドの通り、サブコマンドを使用します。
証明書の一覧表示
certbot certificates
証明書の削除
certbot delete --cert-name <証明書の名前、一般にドメイン名>