タイトルの通りですが、/etc/letsencrypt/live/READMEの一部に以下のような記述があります。

WARNING: DO NOT MOVE OR RENAME THESE FILES!
Certbot expects these files to remain in this location in order
to function properly!

よって手作業で証明書を消したり移動するのは良くありません。

証明書を削除するには

では証明書を正しく削除するにはどうしたらよいのでしょうか？
こちらのガイドの通り、サブコマンドを使用します。

certbot certificates

certbot delete --cert-name <証明書の名前、一般にドメイン名>