1. robots.txt とは何か
robots.txt は、Web サイトの運営者が
検索エンジンなどのクローラー（Crawler / Bot）に対して、どのページをクロールしてよいか、あるいはクロールしてはいけないかを伝えるための設定ファイルである。
これは Robots Exclusion Protocol（REP） と呼ばれる取り決めに基づいており、
サイトのルートディレクトリに以下のような形で配置される。
https://example.com/robots.txt
クローラーは通常、Web サイトを巡回する際に 最初に robots.txt を取得し、その内容を確認してからクロールを行う。
2. robots.txt が生まれた背景
robots.txt は 1994 年に提案された。
当時は：
- Web が急速に普及し始めた時期
- クローラーが無制限にページを取得
- 小規模サーバーがクロールで落ちる事故が多発
この問題に対し、
「クローラーに“礼儀正しく”振る舞ってもらうための共通ルールを作ろう」
という発想から生まれたのが robots.txt である。
重要なのは、
これは法律でもセキュリティ機構でもなく、あくまで“君子協定”であるという点だ。
3. robots.txt の基本構文
robots.txt は非常にシンプルな構文を持つ。
基本形
User-agent: *
Disallow: /admin/
主なディレクティブ
User-agent
対象とするクローラーを指定する。
User-agent: Googlebot
User-agent: Bingbot
User-agent: *
* は「すべてのクローラー」を意味する。
Disallow
クロールを禁止するパスを指定する。
Disallow: /admin/
Disallow: /login
Allow
禁止ルールの例外を指定する。
Disallow: /admin/
Allow: /admin/help.html
4. よくある robots.txt の例
すべてのページを許可
User-agent: *
Disallow:
サイト全体をクロール禁止
User-agent: *
Disallow: /
※ 新規サイトでこれをやると、検索結果から完全に消える
特定ディレクトリのみ禁止
User-agent: *
Disallow: /private/
Disallow: /test/
5. robots.txt はセキュリティではない
ここは非常に重要なポイントである。
robots.txt でできないこと
- アクセス制御 ❌
- 認証 ❌
- 暗号化 ❌
- 攻撃防御 ❌
robots.txt は：
- 誰でも閲覧できる
- 内容は平文
- 無視することも可能
つまり、
robots.txt は「見ないでください」と書いた張り紙であって、鍵ではない
6. 実際に守られるのか？
守るクローラー
- Googlebot
- Bingbot
- DuckDuckBot
- Baiduspider
- YandexBot
主要検索エンジンはほぼ確実に遵守する
守らない可能性があるもの
- 自作クローラー
- スクレイパー
- 攻撃ツール
- 脆弱性スキャナ
- 悪意のある Bot
技術的に robots.txt を強制する仕組みは存在しない。
7. Red Team / Recon 視点での robots.txt
攻撃者・調査者の視点では、robots.txt は 非常に価値の高い情報源になる。
よくある例
Disallow: /admin/
Disallow: /backup/
Disallow: /old/
Disallow: /dev/
これは事実上、
「ここに管理画面、バックアップ、旧バージョン、開発環境があります」
と書いてあるのと同じである。
位置づけ
- Passive Recon
- 低ノイズ
- 高情報密度
多くの攻撃・演習は robots.txt の確認から始まる。
8. robots.txt と検索エンジンの関係
robots.txt が制御するのは クロール（取得） であって、
インデックス（検索結果への登録）そのものではない。
- クロール禁止でも URL がインデックスされる場合がある
- 中身は取得されないが、URL だけ残ることもある
この挙動は SEO 上の注意点でもある。
9. robots.txt の標準化
長年「慣習」として使われてきた robots.txt だが、
- 2022 年：RFC 9309 として正式標準化
つまり robots.txt は、
約 30 年間、事実上の標準として使われ続けた珍しいプロトコル
である。
10. まとめ
robots.txt は：
- 検索エンジン向けのクロール制御ファイル
- セキュリティ機構ではない
- 主流検索エンジンは遵守する
- 攻防・Recon 視点では重要な情報源
robots.txt は「クローラーの行動を制御するための礼儀ルール」であり、同時に「情報収集の入口」にもなり得る。