0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

AIクローラの名乗りを、各社が公開するIPアドレスの範囲と照合した — 1,535回のうち964回は範囲の外で、928回は無いファイルを探していた

0
Posted at

AIクローラの名乗りを、各社が公開するIPアドレスの範囲と照合した

自社サイトのアクセスログを見ると、GPTBot・ChatGPT-User・ClaudeBot といった AI のクローラの名乗りがたくさん並びます。ただ、名乗り(User-Agent)は自己申告で、誰でも書けます。

OpenAI・Anthropic・Perplexity の3社は、自社のクローラが使う IP アドレスの範囲を JSON で公開しています。そこで、当社サイトの要求ログを、この一覧と1回ずつ照合しました。

結論から書きます。AIの名乗りを持つ要求は1,535回。名乗った会社の範囲の内から来たのは571回で、範囲の外からは964回でした。範囲の外の964回のうち928回は、当社のサイトに無いファイルへの要求でした。

この記事の数字の出どころは、当社サイトに置いた元データです(名乗りごとの内訳・数え方・この数字で言えないことつき)。引用するときは、こちらを出典にしてください。
https://braincommunity.jp/jissoku/ai-nanori.html

各社が公開している一覧

会社 名乗り 一覧
OpenAI GPTBot https://openai.com/gptbot.json
OpenAI OAI-SearchBot https://openai.com/searchbot.json
OpenAI ChatGPT-User https://openai.com/chatgpt-user.json
Anthropic ClaudeBot/Claude-SearchBot/Claude-User https://claude.com/crawling/bots.json
Perplexity PerplexityBot https://www.perplexity.ai/perplexitybot.json
Perplexity Perplexity-User https://www.perplexity.ai/perplexity-user.json

どれも同じ形で、prefixes の中に ipv4Prefix(または ipv6Prefix)が並んでいます。Anthropic は3つの名乗りを1つの一覧にまとめています。一覧ごとに作成日が入っていて、日付はばらばらでした。

照合のしかた

ログは Firebase Hosting の要求ログ(Google Cloud のログ)から取りました。名乗りに各社のクローラの名前が含まれる要求を拾い、接続元の IP アドレスが、その名前の一覧の範囲に入るかを見ます。

import ipaddress
import json
import urllib.request

def load(url):
    req = urllib.request.Request(url, headers={"User-Agent": "Mozilla/5.0"})
    with urllib.request.urlopen(req) as r:
        j = json.load(r)
    return [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix"))
            for p in j["prefixes"]]

RANGES = {"ChatGPT-User": load("https://openai.com/chatgpt-user.json")}

def genuine(name, ip):
    a = ipaddress.ip_address(ip)
    return any(a in net for net in RANGES[name])

1つの要求に名乗りが2つ以上書かれていることがあります。そのときは、どれか1つの範囲に入れば「範囲の内」としました。

結果1:範囲の外の要求は、ほとんどが無いファイル探しだった

期間は 2026-09-06〜2026-09-27 の22日、要求ログは46,601行です。

接続元 要求 部品を除いて成功 無いファイルへの要求 接続元の数
名乗った会社の範囲の内 571 306 2 113
範囲の外 964 25 928 11

「部品を除いて成功」は、応答が成功した要求から robots.txt・画像などを除いた数です。

範囲の外の964回は、わずか11個の接続元から来ていました。いちばん多く探していたのは、.env・クラウドの認証情報・SSH の鍵といった、鍵・認証情報・設定のファイル(513回)です。開発用サーバ(Vite など)がファイルを配る道 /@fs/ から、サーバの中のファイルを取り出そうとする要求も116回ありました。

一方、範囲の内から来た571回で、無いファイルを取りに来たのは2回だけでした。

結果2:名乗りごとに見ると

名乗り 全部 範囲の内 範囲の外 うち無いファイル
ClaudeBot 555 335 220 205
GPTBot 181 41 140 138
OAI-SearchBot 210 86 124 120
ChatGPT-User 210 74 136 129
Claude-User 184 32 152 151
PerplexityBot 165 3 162 157
Perplexity-User 106 0 106 106
Claude-SearchBot 89 0 89 87

Claude-SearchBot と Perplexity-User は、1回も範囲の内から来ていません。

名乗りを2つ以上重ねた要求が165回あり、165回とも範囲の外から来て、無いファイルを探していました。この表はそういう要求をそれぞれの名乗りに数えているので、「全部」を足すと1,535回より多くなります。

結果3:本物のユーザ起点が読んだのは、83回・42種類のページ

ChatGPT-User・Claude-User・Perplexity-User は、誰かの質問に答えるために、その場でページを取りに来る名乗りです。範囲の内から来て、部品を除いて成功したのは83回でした。

  • ChatGPT-User:71回(36種類のページ)
  • Claude-User:12回(9種類)
  • Perplexity-User:0回

いちばん多かったのはトップページの27回でした。

結果4:「成功した要求だけ数える」では、偽物が残る

前の記事では、名乗りの要求から「応答が成功した要求」だけを残し、robots.txt や画像を除いて数えていました。同じ22日にこの数え方を当てると331回です。そのうち25回は範囲の外から来ていました。

無いファイルへの要求は成功で絞ればほぼ落ちますが、成功した偽物は残ります。

当社はこう読んだ

ここからは数字そのものではなく、当社の読み方です。

  • 名乗りの数は、そのまま「AIが来た回数」にはならない。 当社のサイトでは、範囲の外から来た要求の方が多くありました。
  • 手早く絞るなら、成功した要求だけを見る。 範囲の外の要求はほとんどが無いファイルへの要求で、範囲の内はほとんどが成功していました。成功で絞るだけでも、大きくは外れません。
  • 数を効果として使うなら、範囲まで照合する。 成功で絞っても偽物は残ります。ユーザ起点のように数が小さいところほど、その差が効きます。
  • 一覧は取った日と一緒に持つ。 一覧の作成日はばらばらです。照合に使った一覧の日付を書いておかないと、あとで同じ数を出せません。

この数字で言えないこと

  • 照合に使ったのは 2026-09-28 に取得した一覧です。要求があった日の一覧ではありません。途中で範囲が変わっていれば、本物を範囲の外と数えたり、その逆が起こります。
  • Perplexity の2つの一覧は作成日が古いものでした。Perplexity の名乗りが範囲の内からほとんど来ていないのは、一覧が古いせいかもしれません。
  • 範囲の内から来たことは、その会社の設備から来たことを示すだけです。取ったページが答えにどう使われたかは分かりません。
  • 名乗りを持たない取得(ふつうのブラウザを名乗るもの)は数えていません。
  • 当社の1サイト・22日の記録です。

この記事は抜粋です。名乗りごとの全部の内訳・範囲の外の要求が探していたものの分類・ユーザ起点が読んだページの上位は、元データの方にだけ載せています。

元データと引用のしかた

名乗りごとの内訳・数え方・この数字で言えないことは、当社サイトに置いています。数字を引用するときは、記事ではなく元データを出典にしてください。そのまま貼れる形はこうです。

出典:ブレインコミュニティ合同会社「AIの名乗りを、各社が公開するIPアドレスの範囲と照合したら、1,535回のうち964回は範囲の外から来ていた」
https://braincommunity.jp/jissoku/ai-nanori.html (2026-09-28 測定)

当社が自分で測ったほかの数字も、同じ置き場にまとめています。
→ https://braincommunity.jp/jissoku/


業務システムの内製化と、AI活用の受託開発をしています。
ブレインコミュニティ合同会社 — https://braincommunity.jp/

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?