毎回悩んでいるので自分の中で考えをまとめた。
管理画面とか、マイページ等の見せたくないページ
robots.txtでディレクトリ指定して、クローリングの拒否
なお、一度、クローリングされるとindexingされるので、メタのrobots属性でnoneと指定し、これからはbotにindexingさせないことを通知する
robots.txt
User-agent: *
Disallow: /mypage/
Disallow: /admin/
トップや記事一覧などのページネーションが存在するページ、分割記事などのページ
rel属性のprev/nextで制御する
noindexとかnofollowとかcanonicalとかはつけない。
ネットでよくあるNG例でcanonicalを付与すると教える記事があるが、あまり使いたくない。
そもそも、canonicalは同一コンテンツへの参照を意味している。
1ページ目と2ページ目で違う内容であるため使いたくない。
検索ページ
ここは未だに悩む。おそらく下記の案のどちらかになる
1案
検索ページはnoindexにする。
2案
検索ページは/jobs＆2ページ目移行はindexingさせるが、
クエリ条件がついた場合はnoindexにする。
検索ページのルートはindexingさせたい。
参考サイト
robots.txtの書き方（保存版）
robots metaタグ(noindex,nofollow,noarchive)の使い方