robots.txt
User-Agent: *
Disallow: /
*(ワイルドカード)はすべての検索エンジンが対象。
Disallowでクロールさせないページを指定。
上記の場合はサイト全体が範囲。例えばabc.htmlやabcディレクトリのみクロールさせない場合は下記のような記述
robots.txt
User-Agent: *
Disallow: /abc.html
Disallow: /abc/
More than 5 years have passed since last update.
Register as a new user and use Qiita more conveniently
- You get articles that match your needs
- You can efficiently read back useful information
- You can use dark theme