わりと解消に時間かかったので備忘録として書いておく。

結論としては、Heroku側のキャッシュを削除してリビルドする必要がある。

$ heroku plugins:install heroku-repo

$ heroku repo:purge_cache -a {Herokuで登録してるアプリの名前}

自分のアプリの名前は https://dashboard.heroku.com/apps/XXXXXX ←これ! XXXXXXがアプリ名!
その後、再度ビルドしてあげる。特にコミットするものがないなら

git commit --allow-empty -m "Cache 削除"
git push heroku master

してリビルドしてあげる。なんかコミットしてリビルドしないと、同じエラー起きてしまうので注意。