Netlifyのプレビューは、 検索エンジンにインデックスされないように配慮されている

どういうことか？

https://deploy-preview-27--xxxxx.netlify.com のような、NetlifyのプレビューのURLは検索エンジンにインデックス化されないようになっているようです。

仕組み

X-Robots-Tag: noindexというヘッダを返してくれるようになっています。これによりインデックス化されないようです。

以下のGoogle Developersに'X-Robots-Tag'に関して詳しく説明があります。
https://developers.google.com/search/reference/robots_meta_tag#x-robots-tag-http-

robots.txt

robots.txt との併用は避けたほうが良いという記述をいくつか目にしました。そのうちのいくつかを紹介します。

注意点として、X-Robots-Tagで指定したコンテンツをrobots.txtでブロックしてはいけない、という点があります。

robots.txtでブロックしてしまうと、そのコンテンツをクローラは取得しようとしないのでHTTPヘッダーを送ることができません。

引用元: https://www.suzukikenichi.com/blog/how-to-use-x-robots-tag/

リンクだけでもGoogleは表示するみたいな話があります。参考にしている記事自体が2009年なので仕様とか変わっているかもしれません。
参考: https://www.suzukikenichi.com/blog/why-pages-blocked-by-robots-txt-show-up-on-serps/

また違う2016年に書かれた記事では、Googleのドキュメントで「検索結果でウェブページを非表示にする目的にrobots.txtを使用しないでください。」と書かれていることを主張しています。

参考：https://sevenb.jp/wordpress/ura/2016/07/06/webgoogle%E3%81%A8%E3%81%8B%E3%81%AE%E3%82%A4%E3%83%B3%E3%83%87%E3%83%83%E3%82%AF%E3%82%B9%E6%8B%92%E5%90%A6%E3%81%AFrobots-txt%E3%81%98%E3%82%83%E3%81%AA%E3%81%8F%E3%81%A6x-robots-tag%E3%82%92/

現在2019年のGoogleのドキュメントにも、検索ページで非表示するするためには別の方法を、といった内容が書かれています。

引用元： https://support.google.com/webmasters/answer/6062608

知ったきっかけ

NetlifyのブランチデプロイのURLはいつまでアクセスできるか？ について疑問をもって、公式サポートから教えてもらいました。