原因

Bastionリソース配置先のリソースグループ名に日本語を使用していることが原因でした。
リソースグループに日本語名を付けれちゃうが、その後不具合が発生する可能性があるので気を付けたいところです。

リソースグループ名の制限について

対処

Azureリソースグループの名前変更はできないので、新しくリソースグループを作成してリソース移動する必要があります。

リソースを新しいリソースグループまたはサブスクリプションに移動する

Bastionに関しては残念ながら執筆時点でリソース移動に対応していないため作り直しが必要です。
Bastionのみ削除してリソースの移動は問題なくできました。仮想ネットワークにAzureBastionSubnetを作っていますが、Subnetの削除は不要でした。
リソース移動のサポート状況は以下に纏まっています。
リソースの操作のサポートの移動