ちょっと躓いたので備忘録として残します。
app.html は srcDir の指定場所に配置する
公式サイトより
テンプレートを変更するために、プロジェクトのルートフォルダに app.html ファイルを作成します。
と書いてあったが、その通りにルートディレクトリに app.html を置いても全く変化なし。
nuxt.config.js で srcDir を指定していた場合、その指定場所に app.html を置く必要があったのです。
ということで、 srcDir を指定していた場所に app.html を置いたら無事反映されました。