ChatGPTのクローラーBotを拒否する方法
ChatGPTのクローラーBotを拒否する方法をまとめていきます。プライバシーの観点からChatGPTなどAIクローラーに自サイト・ブログの情報を利用されるのは嫌なので拒否していきます。
CloudFlareによると、2023/08/22時点でChatGPTのクローラーBot（GPTBot）が20位で、結構Web上をクローリングしていることがわかります。
方法としてはrobot.txtで拒否するか、.htaccessで拒否するかの2つがあります。簡単に違いは以下の通り。
| 方法 | robots.txt | .htaccess |
|---|---|---|
| 対象 | 検索エンジンのクローラーやボット | すべてのクライアント（ボット、ブラウザなど） |
| 動作 | ボットに特定のページへのアクセスを「お願い」する | 特定のIPやユーザーエージェントからのアクセスを強制的に拒否 |
| 拒否 | 任意（ボットが無視することも可能） | 強制的（対象クライアントはアクセスできない） |
| 設置場所 | サイトのルートディレクトリ | 対象となるディレクトリ |
| 技術 | テキストファイル（特定のユーザーエージェント対象） | Apacheサーバーの設定ファイル（詳細なアクセス制御） |
【方法1】robot.txtで拒否する
ご自身で管理しているrobot.txtに以下を追記します。robot.txtを設置していなければ、「robot.txt」のテキストファイルを作成、以下を記述、ルートディレクトリ配下に配置しましょう。
GPTBotはOpenAIのChatGPTが利用するクローラーBotで、CCBotは非営利団体Common Crawlが開発するクローラーBotでChatGPTが利用するビックデータを収集する団体なので同様に拒否します。
UUser-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
公式サイトは以下
動作確認はGoogleサーチコンソールのrobos.txtテスターで確認してください。
【方法2】.htaccessで拒否する
.htaccessで拒否する場合は以下の通りです。自分は.htaccessでその他bot含めて管理しているのでこちらで拒否しました。.htaccessに詳しくないのであれば、robot.txtで拒否した方がいいです。
#AI関連のbot
SetEnvIf User-Agent "GPTBot" deny_bot
SetEnvIf User-Agent "CCBot" deny_bot
<RequireAll>
Require all Granted
Require not env deny_bot
</RequireAll>
動作確認はPCのコマンドプロンプト、ターミナルからcurlコマンドで確認できます。
curl -H "User-Agent: GPTBot" https://XXX.com/
403で拒否されていたら動作確認完了です。
<title>403 Forbidden</title>
以上！