robots.txt の新しいAI学習オプトアウト `User-Agent: __usage_ai-training` を解説：Google-Extended / Gemini の落とし穴と各社の開始時期

2026年10月30日（米国時間）、Google・Microsoft・OpenAI・Anthropic の4社が、robots.txt に書く共通の「AI学習オプトアウト」を尊重すると表明しました。これまでは GPTBot、Google-Extended、ClaudeBot… と会社ごとにグループを書く必要がありましたが、今後は次の1グループで「生成AIの学習に使わないでほしい」という意思を4社にまとめて伝えられるようになります。

User-Agent: __usage_ai-training
Disallow: /

ただし、Google では Gemini の回答に引用・リンクされる経路（グラウンディング）からも外れる という落とし穴があります。この記事では、仕組み、各社の開始時期、使わないほうがいいケース、コピペできる robots.txt をまとめます。

何が決まったのか

• 仕様は IETF のインターネットドラフト draft-kelley-aipref-training-preference-signal-00（著者は Anthropic のエンジニア）です。
• 個人提出のドラフト で、IETF の datatracker 上は「標準化プロセス上の正式な位置付けはない」と明記されています。期限は 2027年5月3日です。
• 4社はこれを「自主的に尊重する」と表明した段階です。法的な強制力はありません。

仕組み：新しい文法はゼロ

ポイントは robots.txt の文法を一切増やしていない ことです。

• User-Agent: 行にクローラー名ではなく ポリシートークン __usage_ai-training を書きます。
• その下の Disallow / Allow は、RFC 9309（Robots Exclusion Protocol）と同じパスマッチ・最長一致のルールで評価されます。
• Disallow になったパスは「AI学習に使わないでほしい」、Allow になったパスは「使ってよい」という意思表示です。
• 対応していない既存のパーサーは、知らない User-Agent のグループとして無視します。既存のクロール制御は何も変わりません。

ドラフトの例はこうです。

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

サイト全体は学習NG、/press-kit/ 配下だけ学習OK、という意味になります。

押さえておくべき3つのルール

1. User-Agent: * は対象外です。 ワイルドカードのグループはこのトークンにマッチしてはいけない（MUST NOT）とされています。つまり、User-Agent: * で Disallow: / と書いているだけのサイトは、この仕組みの上では「意思表示なし」です。
2. アクセス制御ではありません。 「クロールしてよいか」ではなく「取得した内容を学習に使ってよいか」の意思表示です。クローラーはこれまでどおりページを取得します。
3. 対象は「生成AIモデルの学習」です。 分類・ランキング・スコアリングだけに使うモデルの学習は定義に含まれません。また、意思表示は取得時点の内容に付くため、このグループを書く前に収集済みのデータについては何も言っていません。

Google-Extended / Gemini の落とし穴

Google の発表とクローラー文書によると、

このポリシートークンで学習をオプトアウトし、かつ Google-Extended が明示されていない 場合、Google は publisher が Google-Extended を disallow したものとして扱う

とされています。

Google-Extended は単なる学習可否のスイッチではありません。Google の説明では、次の2つをまとめて制御します。

• Gemini アプリ／Vertex AI の Gemini モデルの 学習
• Gemini アプリと Vertex AI の Grounding with Google Search での グラウンディング（回答時に検索インデックスの内容を使い、引用・リンクを付ける）

そのため、__usage_ai-training で Disallow: / だけを書くと、Google では Gemini の回答からの引用・クリックの機会も一緒に失う 可能性があります。Google の John Mueller 氏も「Google-Extended を明示的に許可しているサイトは、Gemini アプリのグラウンディングで回答に表示され、クリックを得る対象になる」と書いています。

なお、Google 検索への掲載や順位には影響しないと Google は説明しています。

「学習はNG、でも Gemini の回答には引用されたい」場合は、Google-Extended を別途明示します。

User-Agent: __usage_ai-training
Disallow: /

User-Agent: Google-Extended
Allow: /

この場合の Google 側の学習の扱いは Google-Extended の設定に従うため、Google だけは学習も許可することになる点に注意してください。学習とグラウンディングを Google で分けて制御することは、現時点の Google-Extended ではできません。

各社の開始時期（2026年11月1日時点）

会社	対応開始	補足
Microsoft	2027年2月1日から尊重	2026年12月15日から、NoArchive/NoCache を使っているサイト向けに Bing Webmaster Tools で一時的なグラウンディング設定を提供。2027年3月1日以降は NoArchive/NoCache を学習・グラウンディングの意思表示として読まなくなる
Google	2027年初め（ブログは「2027年」、クローラー文書は「early 2027」）	未指定時は Google-Extended の disallow として扱う
OpenAI	「今後数か月以内」	GPTBot など既存の robots.txt 制御は引き続き有効
Anthropic	実装に着手済み、公開日は未発表	仕様の著者が IETF のメーリングリストで表明

つまり 2026年11月時点では、まだどの社も実際には読んでいません。 今書いておいても害はありませんが、すぐに効果が出るわけではありません。

Microsoft で NoArchive/NoCache を「AIに使わせない」目的で使っているサイトは、2027年3月1日までにこのトークンへ移行が必要です。

使わないほうがいいケース

• AI の回答に引用されたい・AI経由の流入を増やしたい。 前述のとおり、Google では Gemini のグラウンディングから外れる可能性があります。Google-Extended を明示するか、そもそも書かない選択もあります。
• 各社と個別の契約・ライセンスがある。 ドラフト上、サイトと AI 事業者の個別合意はこの意思表示より優先されます。契約内容と矛盾する記述は混乱のもとです。
• アクセスそのものを止めたい（負荷・スクレイピング対策）。 これはアクセス制御ではありません。サーバー負荷や無断取得を止めたいなら、既存のクローラー別 Disallow、WAF、レート制限を使ってください。
• 既存のクローラー別設定をこれで置き換えたつもりになる。 GPTBot・Google-Extended などの既存の制御は残り、並行して効きます。どちらかに寄せるなら、両方の記述が同じ意図になっているか確認してください。
• 「書けば既存の学習データから消える」と期待している。 収集済みのデータには遡りません。

サンプル robots.txt

1. サイト全体で学習NG（Google の Gemini グラウンディングも外れてよい）

User-Agent: *
Allow: /
Disallow: /admin/

User-Agent: __usage_ai-training
Disallow: /

Sitemap: https://example.jp/sitemap.xml

2. 学習NG、ただし Gemini の回答には引用されたい

User-Agent: *
Allow: /

User-Agent: __usage_ai-training
Disallow: /

# Google だけは Google-Extended の設定が優先される（学習とグラウンディングを両方許可）
User-Agent: Google-Extended
Allow: /

Sitemap: https://example.jp/sitemap.xml

3. ブログ記事は学習NG、プレスキットやドキュメントは学習OK

User-Agent: *
Allow: /

User-Agent: __usage_ai-training
Disallow: /blog/
Allow: /press-kit/
Allow: /docs/

Sitemap: https://example.jp/sitemap.xml

よくある間違い

# NG: ワイルドカードは __usage_ai-training にマッチしないので、学習の意思表示にならない
User-Agent: *
Disallow: /

# NG: アンダースコア2つを落とすと別のトークンになる
User-Agent: usage_ai-training
Disallow: /

まとめ

• User-Agent: __usage_ai-training は、4社共通の「生成AI学習に使わないで」という意思表示です。新しい文法はありません。
• User-Agent: * では表明になりません。
• Google では Google-Extended を明示しないと Gemini のグラウンディングからも外れる可能性があります。
• 実際の対応は Microsoft が2027年2月1日、Google が2027年初め、OpenAI と Anthropic は日付未定です。
• まだ個人提出のドラフトなので、今後変わる可能性があります。

参考

• IETF Datatracker: draft-kelley-aipref-training-preference-signal-00 https://datatracker.ietf.org/doc/draft-kelley-aipref-training-preference-signal/
• The Next Web「Google, Microsoft, OpenAI and Anthropic back one AI training opt-out」 https://thenextweb.com/news/ai-training-opt-out-robots-txt-google-openai-microsoft-anthropic
• PPC Land「Google, Microsoft, OpenAI and Anthropic back one AI training opt-out」 https://ppc.land/google-microsoft-openai-and-anthropic-back-one-ai-training-opt-out/
• Search Engine Land（Google の発表の引用） https://searchengineland.com/google-also-gives-publishers-more-control-over-how-ai-uses-their-content-499971
• RFC 9309 Robots Exclusion Protocol https://www.rfc-editor.org/rfc/rfc9309

---

この記事は、PHP の外部バージョン診断ツール phpcheck.jp を運営している筆者が書いています。phpcheck.jp は robots.txt や AI クローラーの設定を診断するものではありません。この記事は IETF のドラフト、The Next Web と PPC Land の報道、各社の公開発表をもとにしています。