Qiita Teams that are logged in
You are not logged in to any team

Log in to Qiita Team
Community
OrganizationEventAdvent CalendarQiitadon (β)
Service
Qiita JobsQiita ZineQiita Blog
2
Help us understand the problem. What are the problem?

More than 1 year has passed since last update.

Netlifyのプレビューは、 検索エンジンにインデックスされないように配慮されている

どういうことか?

https://deploy-preview-27--xxxxx.netlify.com のような、NetlifyのプレビューのURLは検索エンジンにインデックス化されないようになっているようです。

仕組み

X-Robots-Tag: noindexというヘッダを返してくれるようになっています。これによりインデックス化されないようです。

以下のGoogle Developersに'X-Robots-Tag'に関して詳しく説明があります。
https://developers.google.com/search/reference/robots_meta_tag#x-robots-tag-http-

robots.txt

robots.txt との併用は避けたほうが良いという記述をいくつか目にしました。そのうちのいくつかを紹介します。

注意点として、X-Robots-Tagで指定したコンテンツをrobots.txtでブロックしてはいけない、という点があります。

robots.txtでブロックしてしまうと、そのコンテンツをクローラは取得しようとしないのでHTTPヘッダーを送ることができません。

引用元: https://www.suzukikenichi.com/blog/how-to-use-x-robots-tag/

リンクだけでもGoogleは表示するみたいな話があります。参考にしている記事自体が2009年なので仕様とか変わっているかもしれません。
参考: https://www.suzukikenichi.com/blog/why-pages-blocked-by-robots-txt-show-up-on-serps/

また違う2016年に書かれた記事では、Googleのドキュメントで「検索結果でウェブページを非表示にする目的にrobots.txtを使用しないでください。」と書かれていることを主張しています。

参考:https://sevenb.jp/wordpress/ura/2016/07/06/webgoogle%E3%81%A8%E3%81%8B%E3%81%AE%E3%82%A4%E3%83%B3%E3%83%87%E3%83%83%E3%82%AF%E3%82%B9%E6%8B%92%E5%90%A6%E3%81%AFrobots-txt%E3%81%98%E3%82%83%E3%81%AA%E3%81%8F%E3%81%A6x-robots-tag%E3%82%92/

現在2019年のGoogleのドキュメントにも、検索ページで非表示するするためには別の方法を、といった内容が書かれています。

image.png

引用元: https://support.google.com/webmasters/answer/6062608

知ったきっかけ

NetlifyのブランチデプロイのURLはいつまでアクセスできるか? について疑問をもって、公式サポートから教えてもらいました。

Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
2
Help us understand the problem. What are the problem?