X-Robots-Tag

メモ

概要

Httpヘッダー上で、GoogleBot等に noindex, nofollow等の指示を与える方法

使い方

pdfやxlsなどをindexさせないように使う例などがある。

<Files ~ "\.pdf$">
Header set X-Robots-Tag "noindex"
</Files>

参考: http://www.suzukikenichi.com/blog/how-to-use-x-robots-tag/

雑記

ちなみに Qiita でURL貼るとリンク(当たり前だけど)になるが、nofollow属性をつけたほうがよさそうな気がする

nofollow の使用に関する Google のポリシーと具体例

次のような場合は、nofollow を使用することをおすすめします:

信頼できないコンテンツ: サイトのリンク先のページのコンテンツを保証できない、あるいは保証したくない場合（リンク先が信頼性のないユーザー コメントやゲストブック エントリの場合など）は、このようなリンクを除外します。これにより、サイトが不正行為者のターゲットになることを阻止でき、不正なウェブサイトの PageRank に貢献しないようにできます。特に、コメント スパムでは、特定のコンテンツ管理システムやブログ サービスで信頼できないリンクが追跡されていないことがわかると、それらを攻撃の対象から除外することが考えられます。信頼のおける投稿者を尊重したいのであれば、長期にわたって質の高い投稿を続けているメンバーやユーザーが投稿したリンクから nofollow 属性を自動または手動で削除することもできます。

抜粋: http://support.google.com/webmasters/bin/answer.py?hl=ja&answer=96569