Shifterは独自ドメインを適用しないとrobots.txtにDisallow: /が追加される

サポートに質問すると、上記の仕様と回答いただきました。

WordPress起動中

Start WordPress で起動中にrobots.txtを確認すると一般的なWPで生成されるものと同じ
ここで指す ${Preview Shifter Domain} は、起動中のWP Dashboardのドメイン

robots.txt

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: ${Preview Shifter Domain}/wp-sitemap.xml

Shifter Generate後

WordPressをStopさせて Generate すると下記が生成される
ここで指す ${Public Shifter Domain} は、Shifter管理画面Site OverviewのURL

robots.txt

User-agent: *
Disallow: /wp-admin/

Sitemap: ${Public Shifter Domain}/wp-sitemap.xml

Disallow: /