https://qiita.com/nokonokonoko/items/24073022b42d6c35a5b1
この記事に触発されて書きました
2025年最新版です
ChatGPTに出力させています
OpenAI
- GPTBot
- ChatGPT-User - ChatGPTが検索するとこのUAを使います
Microsoft
- CopilotBot - 公式非発表、不明
- Copilot-User - 公式非発表、不明
- Bingbot - 検索機能から連携している場合、可能性あり よって避ける必要がないと思う
- Google-Extended
Anthropic-ai
- Anthropic-ai
Claudeのトレーニングに利用される可能性のあるBot（まだ詳細は少ない
CCbot
- CCBot
多くのLLM開発企業（OpenAIやAnthropicなど）が使っているオープンなWebクロールデータを提供する団体のBot。
Amazon
- Amazonbot
一部では生成AIにも利用されている可能性あり。
StabilityAI
- StabilityAI
- python-requests
- curl
現状回避困難なUAもあり
Anthropic
- ClaudeBot
- Claude-User
- Claude-SearchBot
Yahoo知恵袋でも採用されているAIです
XのGrok
普通のブラウザ名を名乗っており、判別不能です
IPアドレス帯も不明です
現時点では、GrokへのアクセスをIPアドレス帯で一網打尽にブロックするのは現実的ではありません。もしアクセス制限を検討する場合は、以下のアプローチが現実的です
-
実際の アクセスログ（特にUser-Agentや頻出IP）から不審な通信を検出し、その都度IP単位で対応。
-
WAF（Web Application Firewall）などを用いて、特定のヘッダー異常に応じて制限。
-
robots.txt に記載しても、Grokがそれを遵守する保証はない点に留意。
robots.txt
robots.txt
User-agent: GPTBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: CopilotBot
Disallow: /
User-agent: Copilot-User
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Anthropic-ai
Disallow: /
User-agent: CCBot
Disallow: /
User-Agent: Amazonbot
Disallow: /
User-Agent: StabilityAI
Disallow: /
User-Agent: python-requests
Disallow: /
User-Agent: curl
Disallow: /
User-Agent: ClaudeBot
Disallow: /
User-Agent: Claude-User
Disallow: /
User-Agent: Claude-SearchBot
Disallow: /
.htaccess
.htaccess
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} GPTBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ChatGPT-User [NC,OR]
RewriteCond %{HTTP_USER_AGENT} CopilotBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Copilot-User [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Google-Extended [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Anthropic-ai [NC,OR]
RewriteCond %{HTTP_USER_AGENT} CCBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Amazonbot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} StabilityAI [NC,OR]
RewriteCond %{HTTP_USER_AGENT} python-requests [NC,OR]
RewriteCond %{HTTP_USER_AGENT} curl [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ClaudeBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Claude-User [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Claude-SearchBot [NC]
RewriteRule .* - [F,L]
</IfModule>