大前提

TL;DR

git tag new-tag old-tag

old-tagからnew-tagに変更したいときは、上記コマンドでnew-tagを作ってから、GitHub上のReleaseのEdit画面でタグ名をnew-tagに変更する。

1.0→1.1→2.0というリリースがあるが、よくよく見たらリリース1.1のタグ名が間違っていた。
リリース1.1のタグを正しいものに直したい。

GitHub上のReleaseのEdit画面で、素直にタグ名を編集してみた。
ら、そのブランチの最新コミット（ここではリリース2.0時点のコミット）でタグが作られてしまった。失敗。

GitHub上では操作できないので、Gitコマンドで。

git tag new-tag old-tag

これでold-tagのコミットにnew-tagというタグが新しく作られる。
まずはこれをプッシュ。

git push origin new-tag

これでリモートにnew-tagが反映される。

次に、GitHub上でタグ名を変更したいReleaseのEdit画面を開く。
タグ名をさっき作ったnew-tagに変更してUpdateする。
これでやりたいことができた。

あとは修正前のタグ（old-tag）はもう不要なので、それを削除する。
リモートからの削除。

git push --delete origin old-tag

ローカルからの削除。

git tag -d old-tag

以上。