0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

どこにもリンクしていないテスト環境に、ChatGPT のボットは来るのか|サーバーの記録で確かめた

0
Posted at

前回の記事で、新しいドメインでサイトを開いたとき、Google より先に ChatGPT のボットが来ていたことを書きました。
https://hirajo.com/blog/crawler-google-vs-chatgpt

ドメインを取ってから1時間ほどで、記事もリンクも無いうちに、OpenAI のボットが来ていました。
では、OpenAI は何を見て、生まれたばかりのサイトを知ったのでしょうか。

私の見立ては、SSL 証明書の発行です。
証明書を取ると、その名前が公開の記録に載ります。
OpenAI はそれを見てサイトを見に来ているのではないか、と考えました。

そこで、どこからもリンクしていない、検索にも出していないテスト環境の記録を調べました。
本番のサイトと違い、テスト環境は、作った私たち以外にだれも知らないはずの場所です。

調べたもの

1台のサーバーで動かしている48のホストのうち、テスト用のホスト10個です。
自社製品と、お客様から預かっている開発案件のテスト環境で、どれもどこにもリンクしていません。
製品名とドメインは伏せ、テスト環境A〜Jと呼びます。

使ったのは、サーバー(nginx)のアクセス記録です。
記録が残っているのは、古いものでも2026年4月末からです。
時刻はすべて日本時間です。

ボットは名乗る名前(User-Agent)だけでは見分けられません。
今回の記録にも、OpenAI や Google の名前を借りた偽物が3,305回ありました。
そこで、各社が公開している IP アドレスの一覧と照らし合わせ、一覧に入っているものだけを本物として数えました。

・OpenAI:OAI-SearchBot、GPTBot、ChatGPT-User
・Google:Googlebot
・Microsoft:bingbot

テスト環境に来たボット

公開していないテスト環境に来たボット

10個のテスト環境のうち8個に、OpenAI の本物のボットが来ていました。
合わせて2,403回です。

Googlebot の本物は、10個のどれにも1回も来ていません。
bingbot の本物も0回でした。

・テスト環境A:OpenAI 633回、Google 0回(記録は5月10日から)
・テスト環境B:OpenAI 519回、Google 0回(5月10日から)
・テスト環境C:OpenAI 413回、Google 0回(7月6日に作成)
・テスト環境D:OpenAI 396回、Google 0回(5月10日から)
・テスト環境E:OpenAI 238回、Google 0回(8月20日に作成)
・テスト環境F:OpenAI 175回、Google 0回(5月10日から)
・テスト環境G:OpenAI 28回、Google 0回(4月30日に作成)
・テスト環境H:OpenAI 1回、Google 0回(10月14日に作成)
・テスト環境I:OpenAI 0回、Google 0回(記録は10月5日から)
・テスト環境J:OpenAI 0回、Google 0回(4月30日に作成)

本番のサイトには、Googlebot は毎日来ています。
同じサーバーの、同じドメインの下のテスト環境には、5か月以上たっても1回も来ていません。

作った日の記録

テスト環境C、E、Hは、作った日からの記録が残っていました。
3つとも、同じ順番でボットが来ています。

テスト環境Eの例です。

・17時54分00秒:記録の最初のアクセス。調査用のボットが、数秒のうちに次々とトップページに来る
・18時32分44秒(38分後):OpenAI の OAI-SearchBot が robots.txt を読む
・18時32分45秒:OpenAI の GPTBot がトップページを読み、そこからリンクをたどって中のページを読み始める

テスト環境Hも、最初のアクセスの38分後に、OAI-SearchBot が来ていました。
テスト環境Cは、2時間12分後でした。

テスト環境CとHでは、最初の数秒に来たボットの中に、CT-WP-Scanner という名前のものがありました。
CT は Certificate Transparency の略で、SSL 証明書の公開記録のことです。
SSL 証明書を発行すると、そのホスト名がこの記録に載り、だれでも見られます。
3つとも、テスト環境のホスト名は、この公開記録に載っていました。

このとき、テスト環境のホスト名を知る手がかりは、証明書の公開記録とDNSの設定くらいしかありません。
リンクも、サイトマップも、検索への登録もしていません。

Google と OpenAI では、動きが違う

Google は、検索の仕組みを、リンクやサイトマップでページを見つけるところから説明しています。
https://developers.google.com/search/docs/fundamentals/how-search-works

テスト環境には、リンクもサイトマップの登録もありません。
記録のうえでも、Googlebot は1回も来ませんでした。

OpenAI のボットは、だれにも教えていない場所に、作ってから1時間足らずで来ていました。
テスト環境CとEでは、OAI-SearchBot が robots.txt を読んだ1秒後に、GPTBot が中のページを読み始めていました。

私の見立て

ここからは、記録をもとにした私の見立てです。

OpenAI は、新しいドメインや新しいホストの SSL 取得を合図にして、サイトを見に来ている。
Google のボットは、それとは別の動きをしている。

つまり OpenAI は、Google よりも広く情報を取得して、独自に解析しているのではないか。

OpenAI は、何を見てサイトを知ったのかを公表していません。
記録から言えるのは、ホスト名が証明書の公開記録に載り、最初のアクセスがあってから38分から2時間ほどで OpenAI のボットが来ていたことと、同じような場所に Google は5か月以上来ていないことです。

記録の限界

・テスト環境のホスト名が、私たちの知らないところでどこかに書かれていた可能性は、ゼロにはできません
・記録が5月10日からのテスト環境は、それより前に何が来ていたかはわかりません
・テスト環境Jのように、OpenAI も来ていない場所もあります
・ほかにもう1つ、2025年4月の記録しか残っていないテスト環境があり、そこには Googlebot が54回、bingbot が20回来ていました。記録の時期がほかと違うので、10個には入れていません

自分のサイトで確かめる方法

サーバーのアクセス記録で、次のように数えられます。

grep "OAI-SearchBot" access.log | wc -l
grep "GPTBot" access.log | wc -l
grep "Googlebot" access.log | wc -l

名前は、どのプログラムでも名乗れます。
本物かどうかは、各社が公開している IP アドレスの一覧と照らし合わせてください。

・OpenAI:https://openai.com/searchbot.json 、https://openai.com/gptbot.json
・Google:https://developers.google.com/static/search/apis/ipranges/googlebot.json

テスト環境やステージングに OpenAI のボットが来ているかは、ここで確かめられます。

おわりに

どこにもリンクしていないテスト環境10個のうち8個に、OpenAI のボットが来ていました。
Googlebot は1回も来ていません。

作った日の記録では、最初のアクセスから38分から2時間ほどで、OpenAI のボットが来ていました。

公開していないつもりの環境も、証明書を取った時点で、OpenAI には見つかっています。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?