ChatGPT対策のためのrobots.txt設定ガイド【2026年版】
ChatGPTの検索機能に自社サイトを表示させるには、まずAIクローラーがサイトにアクセスできる状態にする必要があります。
この記事では、ChatGPT・Perplexity・Gemini等のAIクローラーに対するrobots.txtの正しい設定方法を、コピペで使えるテンプレート付きで解説します。
AIクローラーの種類
主要なAIクローラーは以下の通りです。
| サービス | クローラー名 | 役割 |
|---|---|---|
| ChatGPT検索 | OAI-SearchBot |
検索結果にサイトを表示するためのクロール |
| ChatGPT学習 | GPTBot |
モデル学習用のクロール |
| Perplexity | PerplexityBot |
検索結果にサイトを引用するためのクロール |
| Google AI Overview | Google-Extended |
AI機能向けのクロール |
| Microsoft Copilot | Bingbot |
Bing検索+Copilot向けのクロール |
重要: OAI-SearchBotとGPTBotは別物です。GPTBotをブロックしても、OAI-SearchBotが許可されていればChatGPT検索には表示されます。
robots.txtの設定テンプレート
パターン1: AI検索に表示したい（推奨）
# AI検索クローラーを許可
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /
# AI学習用クローラーはブロック（任意）
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
検索には表示されたいが、学習データとして使われたくない場合のパターンです。
パターン2: すべてのAIクローラーを許可
User-agent: *
Allow: /
シンプルですが、学習用クローラーも含めてすべて許可されます。
パターン3: 特定ディレクトリのみ許可
User-agent: OAI-SearchBot
Allow: /blog/
Allow: /products/
Disallow: /admin/
Disallow: /internal/
公開コンテンツのみAIに読ませたい場合。
設定の確認方法
robots.txtを設定したら、実際にAIクローラーがアクセスできるか確認しましょう。
# robots.txtの内容を確認
curl https://your-site.com/robots.txt
# OAI-SearchBotとしてアクセスをシミュレート
curl -A "OAI-SearchBot" https://your-site.com/
また、AEO Checkの無料診断を使えば、AIクローラーの許可状況を含む7カテゴリのスコアを自動チェックできます。
よくある間違い
1. GPTBotだけブロックして安心している
GPTBotをブロックしても、OAI-SearchBotが許可されていればChatGPT検索には表示されます。逆に、GPTBotを許可してOAI-SearchBotをブロックすると、学習には使われるが検索には表示されないという最悪のパターンになります。
2. WAF（Web Application Firewall）がブロックしている
robots.txtで許可していても、CloudflareやAWS WAFがAIクローラーのUser-Agentをブロックしている場合があります。WAFのログを確認してください。
3. robots.txtの構文エラー
# NG: スペースが抜けている
User-agent:OAI-SearchBot
# OK
User-agent: OAI-SearchBot
User-agent:の後にスペースが必要です。
まとめ
-
OAI-SearchBot（ChatGPT検索）とGPTBot（学習）は別物 - AI検索に表示したいなら
OAI-SearchBotとPerplexityBotを許可 - WAFのブロックも確認する
- AEO Checkで設定状況を無料診断できる
関連記事（AEO Check Blog）: