【2025年版】ChatGPTなどの生成AIのクローラーBotを拒否する方法

https://qiita.com/nokonokonoko/items/24073022b42d6c35a5b1
この記事に触発されて書きました

2025年最新版です

ChatGPTに出力させています

OpenAI

• GPTBot
• ChatGPT-User - ChatGPTが検索するとこのUAを使います

Microsoft

• CopilotBot - 公式非発表、不明
• Copilot-User - 公式非発表、不明
• Bingbot - 検索機能から連携している場合、可能性あり よって避ける必要がないと思う

Google

• Google-Extended

Anthropic-ai

• Anthropic-ai
  Claudeのトレーニングに利用される可能性のあるBot（まだ詳細は少ない

CCbot

• CCBot
  多くのLLM開発企業（OpenAIやAnthropicなど）が使っているオープンなWebクロールデータを提供する団体のBot。

Amazon

• Amazonbot
  一部では生成AIにも利用されている可能性あり。

StabilityAI

• StabilityAI
• python-requests
• curl
  現状回避困難なUAもあり

Anthropic

• ClaudeBot
• Claude-User
• Claude-SearchBot

Yahoo知恵袋でも採用されているAIです

robots.txt

robots.txt

User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: CopilotBot
Disallow: /

User-agent: Copilot-User
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Anthropic-ai
Disallow: /

User-agent: CCBot
Disallow: /

User-Agent: Amazonbot
Disallow: /

User-Agent: StabilityAI
Disallow: /

User-Agent: python-requests
Disallow: /

User-Agent: curl
Disallow: /

User-Agent: ClaudeBot
Disallow: /

User-Agent: Claude-User
Disallow: /

User-Agent: Claude-SearchBot
Disallow: /

.htaccess

.htaccess

<IfModule mod_rewrite.c>
RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} GPTBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ChatGPT-User [NC,OR]
RewriteCond %{HTTP_USER_AGENT} CopilotBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Copilot-User [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Google-Extended [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Anthropic-ai [NC,OR]
RewriteCond %{HTTP_USER_AGENT} CCBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Amazonbot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} StabilityAI [NC,OR]
RewriteCond %{HTTP_USER_AGENT} python-requests [NC,OR]
RewriteCond %{HTTP_USER_AGENT} curl [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ClaudeBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Claude-User [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Claude-SearchBot [NC]
RewriteRule .* - [F,L]
</IfModule>