Help us understand the problem. What is going on with this article?

シーンごとのrobotsの設定

More than 1 year has passed since last update.

毎回悩んでいるので自分の中で考えをまとめた。

管理画面とか、マイページ等の見せたくないページ

robots.txtでディレクトリ指定して、クローリングの拒否
なお、一度、クローリングされるとindexingされるので、メタのrobots属性でnoneと指定し、これからはbotにindexingさせないことを通知する

robots.txt
User-agent: *
Disallow: /mypage/
Disallow: /admin/

トップや記事一覧などのページネーションが存在するページ、分割記事などのページ

rel属性のprev/nextで制御する
noindexとかnofollowとかcanonicalとかはつけない。

ネットでよくあるNG例でcanonicalを付与すると教える記事があるが、あまり使いたくない。
そもそも、canonicalは同一コンテンツへの参照を意味している。
1ページ目と2ページ目で違う内容であるため使いたくない。

検索ページ

ここは未だに悩む。おそらく下記の案のどちらかになる

1案

検索ページはnoindexにする。

2案

検索ページは/jobs&2ページ目移行はindexingさせるが、
クエリ条件がついた場合はnoindexにする。
検索ページのルートはindexingさせたい。

参考サイト

robots.txtの書き方(保存版)
robots metaタグ(noindex,nofollow,noarchive)の使い方

Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
No comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
ユーザーは見つかりませんでした