Qiita はウェブ魚拓に対応してほしい

  • 11
    Like
  • 0
    Comment

どうも Qiita の記事は ウェブ魚拓 に非対応のようでして、これが意図的なのか否かよくわからないのですが、意図ぜず非対応になっているのであれば、ご対応をお願い致したく。

http://qiita.com/robots.txt において、以下の行を削除するだけでウェブ魚拓には対応できます。

# See http://www.robotstxt.org/wc/norobots.html for documentation on how to use the robots.txt file
#
# To ban all spiders from the entire site uncomment the next two lines:
# User-Agent: *
# Disallow: / ← ★ここの行を消せばウェブ魚拓に対応されます

User-agent: *
....

コメント部分の削除で対応できてしまうというのはなんだかウェブ魚拓側の動作の問題のような気もしますが一応 Qiita 側の対応方法もお伝えしておきます。

補足:ウェブ魚拓側に送ったメッセージ

ウェブ魚拓側にも以下のようなメッセージを送ってあります。

Qiita (http://qiita.com/) の記事の魚拓をとることができません。
http://qiita.com/robots.txt を参考に、どの行が魚拓不可に影響しているのか検証してみたところ、
「# Disallow: /」という行の有無で魚拓の可否が分かれるようでした。
「#」で始まる行はコメントなので挙動に影響があるのは不本意に思うのですがいかがでしょうか。
お手数ですがご確認いただければ幸いです。