プロジェクト一覧でプロジェクトを削除すると、一旦は削除されたように見えます。
しかし、ブラウザをリロードすると先ほど削除したプロジェクトがよみがえっているではないですか！
こいつを今から消します。
手順
そのプロジェクトの中に入る
すると、
AWS CodeStar プロジェクトを作成できませんでした。
AWS CloudFormation スタックから次のエラーメッセージが返りました。Your project could not be deleted because the policy arn:aws:iam::hoge:policy/{policy-name} could not be deleted. Verify the policy is not attached to any entities and retry the project deletion.
と表示されていました。
つまり、このプロジェクトにアタッチされているPermissionsBoundaryが削除できなかったから、このプロジェクトも削除できなかったんですね。これがわかればあとはこのポリシーを消すだけです。
ポリシーを削除
IAM Management Consoleを開き、ポリシーを表示します。
削除できなかったポリシーの名前でフィルターし、そのポリシーを開きます。
「ポリシーの使用状況」というタブがあるのでクリック。
このポリシーをアクセス権限の境界として使用しているロールを見ることができます。
この境界を削除しても問題ない場合、ロール名左にチェックを入れて、「境界の削除」を押します。
この境界を使っているロールが存在しない状態にしましょう。
CodeStarプロジェクトの削除
再びCodeStarに戻ります。
削除できなかったプロジェクトを再度削除してみましょう。
削除の際に表示される CodeStarプロジェクトとともに、関連する AWS リソースを削除します はチェックを入れていたほうが良いかと思います。
しばらくしてからブラウザをリロードしてみてください。もうよみがえってくることはないでしょう。