公開しても、学習に使ってよいかは別に決まります
たとえば、社内の技術ブログです。Pythonの例外処理を、検索で見つけてもらいたい。AIの回答に出典として載り、記事へ人が訪れることも期待するかもしれません。モデルの学習データに入れることだけは、別に判断したい。
ページを公開しても、次の3つは自動では決まりません。検索の索引に載せるか。生成AIの学習に使わせるか。回答を作るときに参照させるか。目的が違うので、許可も別にします。
この区別を、サイト運営者がrobots.txtで書けるようにする発表が、2026年10月30日に出ました。Google、Microsoft、OpenAIが、学習への意思表示を共通の書き方で受け取る、とそれぞれ発表しています。AnthropicのKevin Kelley氏は同じ日、その書き方のInternet-DraftをIETFに提出し、Anthropicは実装を始めた、と作業部会のメーリングリストへ書いています。
ニュースの要約では、クローラーのアクセスをまとめて止める話として伝わることがあります。クローラーは、ページを自動で取得するプログラムです。一次資料が定義しているのは、生成AIの学習にそのページを使ってよいか、という意思表示です。
どのアクセスを受けるかは、AIトラフィック急増でWeb設計の前提が変わるに書きました。エージェントにどの操作を許すかは、人間が画面を操作する前提では足りない。AIエージェントが使うWebの設計です。どちらも、用途ごとに受け方を分ける、という説明です。この記事では、その2本にある負荷の数字と、予約の手順は繰り返しません。ここで説明するのは、公開したページの使い方を、サイト運営者がどう書き分けるかです。
共通で書けるのは、学習についての1行です
前の節の3つのうち、共通の書き方ができたのは学習だけです。使うのは、RFC 9309のrobots.txtにすでにあるUser-agentのグループです。そこに、各社が共通で読む名前を1つ置きます。トークン名は __usage_ai-training です。Kelley氏のdraft-kelley-aipref-training-preference-signal-00は、次の例を挙げています。
User-agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
この例は、サイト全体について学習への不許可を示し、/press-kit/ 以下については許可を示します。パスの解釈は、いまのrobots.txtと同じ最長一致です。User-agent: * は、このトークンには一致しません。ファイルにこのグループがなければ、学習についての意思表示はない、と草案は定義しています。
この文書は、2026年10月30日付の個人のInternet-Draftです。RFCではありません。草案自身が、進行中の文書として以外の引用は適切でない、と書いています。有効期限は2027年5月3日です。構文は変わる可能性があります。
学習の範囲も、草案が参照する語彙の草案に沿います。生成AIモデルの学習済みパラメータを変えるために素材を使うこと、です。分類、順位付け、採点だけに使うモデルの訓練は、そのモデルが理由の文章を出せても、この「学習」には含まれません。
2026年11月3日の時点では、このトークンを本番で読んでいると発表した会社はありません。読み始める予定は、会社ごとに次のとおりです。
Googleは、2027年の早い時期を予定しています
GoogleのSupporting a shared AI training control for websites（2026年10月30日、John Mueller氏）は、2027年の対応を目指す、と書いています。Google's common crawlersの注記は、user-agent: __usage_ai-training を2027年の早い時期にサポートする予定です。月日は書かれていません。
OpenAIは、今後数か月での実装を目指しています
OpenAIのMaking it easier for websites to express AI training preferences（同日）は、今後数か月での実装を目指し、詳細は実装するときに出す、としています。GPTBotなどの、これまでのクローラーごとの指定も残ります。
Microsoftは、2027年2月1日から取得したページに適用します
MicrosoftのYour content, your choice（同日、Krishna Madhavan氏）は、2027年2月1日から、クロールしたページに新しい設定を適用する、と書いています。クロールは、クローラーがページを取得しにいくことです。適用が始まるのは、その日以降に取得されたページからです。
Anthropicは、実装を始めていますが完了日はありません
Anthropicは、Kelley氏のメーリングリストの投稿（同日）で、実装をすでに始めたこと、既存のクローラー制御は残ること、全サービスへの反映には時間がかかることを説明しています。規格が更新されれば、Anthropicの解釈も変わる可能性がある、と書いています。完了日はありません。
Metaは、その設定を読むとは書いていません
Metaについては、The VergeのThe biggest names in AI are backing a new way to opt out of scraping（同日）が、コミュニケーション責任者Andy Stone氏のコメントを伝えています。複数のAI企業へ一度に希望を伝えられる共通の設定は必要だ、と述べた、という内容です。同記事は、Metaがその設定を実際に読むとは書いていません。Metaの技術ブログで同じ日付の実装予定は、この記事の確認範囲では見つけていません。
したがって、今日この1行を書いても、各社の予定の日までは読まれません。それまでの指定は、次の節の会社ごとの名前です。
いま有効な設定は、会社ごとに対象が違います
共通トークンは、まだ本番では読まれていません。それまで有効なのは、会社が個別に決めた名前です。学習、検索の回答、利用者が操作して開く取得で、名前が分かれています。
どの名前も、認証の代わりにはなりません。RFC 9309のrobots.txtは、自動プログラムへの意思表示です。アクセスを技術的に遮断する仕組みではありません。従わないプログラムは止まりません。機密情報は、ログインと権限で守ります。新しい拒否を書いても、すでに取得されたデータが消えることや、学習済みモデルから取り除かれることは、今回の各社文書には書かれていません。
OpenAIは、学習と検索回答で名前が分かれます
OpenAIのOverview of OpenAI Crawlersでは、GPTBotは、生成AIの基盤モデルの学習に使われうる収集です。OAI-SearchBotは、ChatGPTの検索回答にサイトを出すための収集です。設定は互いに独立です。GPTBotを拒否しても、OAI-SearchBotを拒否したことにはなりません。OAI-SearchBotを拒否すると、検索の回答には出ません。案内用のリンクとしては出ることがあります。ChatGPT-Userは、利用者の操作でページを開くときの名前です。OpenAIは、利用者の操作で開くため、robots.txtが適用されない場合がある、と書いています。検索への掲載を決めるためにも使いません。
Google-Extendedは、学習と回答参照の両方です
Googleの同じクローラー説明では、Google-Extendedに、HTTPリクエスト用のUser-Agent文字列はありません。収集は既存のGoogleのクローラーが行い、robots.txt上のトークンが利用を制御します。対象は2つです。Gemini AppsとVertex AIのGemini APIを支える、将来のGeminiモデルの学習。もう1つは、回答を作るときに検索索引の内容をモデルへ渡し、事実性と関連性を補うことです。Googleはこの参照をgroundingと呼んでいます。対象の画面は、Gemini Appsと、Vertex AIのGrounding with Google Searchです。Google検索への収録と、検索順位の信号には影響しない、と書かれています。
Anthropicも、3つの名前に分かれます
AnthropicのヘルプDoes Anthropic crawl data from the webでは、ClaudeBotが学習に使われうる収集、Claude-SearchBotが検索結果のための収集、Claude-Userが利用者の質問に応じた取得です。Claude-Userを拒否すると、その質問への取得は止まり、利用者向けの検索結果に出にくくなることがある、と書かれています。OpenAIのChatGPT-Userは、前の小見出しのとおり、robots.txtが適用されない場合があります。利用者が操作してページを開くとき、robots.txtが適用されるかどうかは会社ごとに違います。
対象が違うので、新しいクローラーが出るたびに、サイト側はその名前の行を追加してきました。共通トークンが1つにまとめるのは、このうち学習だけです。次は、その学習の拒否を、Googleが回答の参照まで広げる点です。
共通トークンの拒否は、Googleでは回答の参照も含みます
前の節の名前なら、学習と回答の参照を分けられる場合があります。共通トークンは、その分け方を崩すことがあります。Googleでは、学習の拒否に、回答の参照も含まれます。
Googleは、共通トークンで学習を拒否し、かつGoogle-Extendedを書いていない場合、Google-Extendedを拒否したのと同じに扱う、とブログに書いています。Google-Extendedは、学習とgroundingの両方です。共通トークンだけを拒否にすると、Geminiの回答参照も拒否になります。Googleがこのように扱うのは、2027年の早い時期からの予定です。2026年11月3日の時点では、まだ始まっていません。
Google-Extendedを明示して許可すると、Gemini Appsの回答に出て、クリックを受けられる対象になる、とブログは書いています。その許可は、Google-Extendedの説明どおり、将来のGeminiの学習も含みます。学習は拒否し、Geminiの回答参照だけ許可する、という分け方は、今回のGoogleの文書には見当たりません。
Microsoftの説明では、共通トークンは学習だけです。OpenAIの発表が対象にしているのも、学習です。各社の文書を比べると、回答の参照まで拒否になるのはGoogleです。これは文書上の比較です。同じサイトで各社の動作を同時に測定したわけではありません。同じ1行を書いても、拒否される対象は会社ごとに違います。
そのため、会社ごとの指定は消さずに残します。草案は、より具体的な指定を優先してよい、と書いています。Googleも、業界共通の設定と、Google-Extendedのような個別の指定は一緒に使える、としています。OpenAIも、新しい設定と既存の指定は両方残る、と書いています。
次のファイルは、公開ブログで「検索には出す。学習には使わせない。Googleの回答参照も、学習とセットで拒否する」と決めたときの確認用です。本番へ配る前に、自サイトの禁止パスと突き合わせます。2026年11月3日の時点では、共通トークンを本番で読んでいる会社はありません。GPTBot、ClaudeBot、Google-Extendedの行は残します。共通トークンだけにすると、各社が読み始めるまでのあいだ、学習の拒否が伝わりません。
User-agent: Googlebot
Allow: /
User-agent: Bingbot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
# 学習と、Geminiの回答参照の両方。回答参照だけを残す行ではない
User-agent: Google-Extended
Disallow: /
# 草案の学習用トークン。* のグループは、この名前には一致しない
User-agent: __usage_ai-training
Disallow: /
OAI-SearchBotとClaude-SearchBotは、このファイルでは拒否していません。ChatGPTの検索回答や、Claudeの検索用の索引に残す場合の分け方です。残したくなければ、それぞれの公式のトークンを別に拒否します。
User-agent: * に書いた禁止は、名前を指定したグループへ自動では引き継がれません。/private/ を * で拒否しているなら、GooglebotやBingbotのグループにも同じ拒否を書きます。この例は、サイト全体を検索してよい場合の形です。サブドメインはホストごとにrobots.txtが分かれます。Anthropicは、拒否したいサブドメインごとに書くよう案内しています。
Microsoftなら、学習と回答参照を別に書けます
前の例では、Googleの回答参照を、学習と一緒に拒否しました。学習は拒否し、回答の材料には残したい場合に、いま文書で書けるのはMicrosoftです。
学習はrobots.txt、回答参照はページごとに書きます
Microsoftの発表は、共通の学習トークンに、自社だけの回答参照の設定を加えています。名前はAI Groundingです。回答を生成するとき、ページの内容をその回答の材料にするか、です。検索結果へページを載せる処理とは別、と書いています。Bingの通常の検索への掲載資格は、この設定では変わりません。
学習は、robots.txtの __usage_ai-training で、サイトやパスに書けます。ページ単位では、metaタグかHTTPヘッダーで上書きできます。ページの指定が、robots.txtより優先されます。
Groundingに、サイト全体のrobots.txtの行はありません。ページ単位だけです。未設定は許可です。拒否は2段階です。disallow は、回答の材料に使わない、という意味です。disallowextended は、Microsoftが運営するAI Mode、AI Overview、Copilot、Microsoft 365では材料にしてよく、他社向けのWeb IQやFoundryのAPI経由では使わない、という意味です。ここでのAI Overviewは、Microsoftが挙げる自社の体験の名前です。
学習を拒否し、回答の材料には残す組み合わせを、Microsoftは例として書いています。許可しても、掲載、流入、支払いを保証するものではない、とも書いています。disallow と disallowextended を選ぶと、AIの回答にサイトが表示される機会が大きく減る、とも書いています。
ページで学習だけを拒否し、Groundingは既定の許可のままにする例が、次のタグです。Microsoftが読み始めるのは、2027年2月1日以降にクロールしたページです。
<meta name="Bingbot" content="ai-training:disallow">
GroundingをMicrosoftの製品だけに限るなら、内容は ai-grounding:disallowextended です。全部拒否するなら ai-grounding:disallow です。同じ指定は、X-Robots-Tag ヘッダーでも書けます。公式の例は X-Robots-Tag: Bingbot: ai-training:disallow です。
このタグが決めるのは、取得した内容を回答の材料にするかです。Bingbotを取得してよいかは、robots.txtのBingbotのグループが決めます。Groundingを許可しても、Bingbotの拒否を越えて取得できるようにはなりません。変更は、Microsoftが再クロールして見つけます。IndexNowは再クロールのきっかけにはなります。いつ取られるかの日付までは書かれていません。
NoArchiveとNoCacheは、2027年3月1日で切れます
NoArchive と NoCache を、学習やGroundingの拒否として使っているサイトには期限があります。2027年3月1日以降、Microsoftはその2つを、学習やGroundingの意思表示としては読みません。新しい学習またはGroundingの指定をサイト上で検知すると、残っているこの2つのタグは無視されます。
2026年12月15日時点でそのタグを使っているサイトは、Bing Webmaster Toolsに暫定のGrounding設定を記録できます。暫定設定は、再クロールで新しい指定が見つかるまで、または2027年9月30日までの、どちらか早い方です。3月1日までに暫定設定を記録しないと、再クロールまではGroundingが許可扱いになります。学習側の暫定設定は、Webmaster Toolsにはありません。学習の新しい指定は、robots.txtかページに書きます。
この期限は、共通トークンの規格が完成してから対応するものではありません。NoArchive や NoCache でAIへの利用を拒否しているサイトは、2027年3月1日より前に、Microsoftの手順で新しい設定へ書き換えます。手順の全体は、上のMicrosoftの記事にあります。
設定例をコピーする前に、用途を3つ決めます
ここまでの設定例は、方針が決まったあとの書き方です。製品マニュアル、採用情報、有料の記事、調査レポートでは、答えが違ってよいです。ページの種類ごとに、次の3つを先に決めます。
検索に載せるか
GooglebotやBingbotを拒否すると、検索結果から落ちます。Google-Extendedや、Microsoftの学習とGroundingの設定は、各社の説明では通常の検索掲載とは別です。検索に出したくないディレクトリは、これまでどおり、検索クローラーの側で指定します。
学習に使わせるか
使わせないなら、いま有効な会社ごとのトークンを残し、共通トークンも追加します。会社ごとのトークンを消して共通トークンだけにするのは、その会社が共通トークンを読み始めたと公式に確認してからです。OpenAIは実装の詳細をまだ出していません。Googleは2027年の早い時期を予定しています。Microsoftは2027年2月1日以降、ページを取得した順に設定を適用します。Anthropicは実装を始めていますが、完了日は出ていません。
使ってよい範囲があるなら、草案の例のようにパスで分けます。/press-kit/ だけ許可し、残りは拒否する、という書き方です。グループ自体がないファイルは、草案では意思表示なしです。
回答の材料にするか
ここまでで確認した違いは、次のとおりです。設定の書き方は、会社ごとに違います。
Microsoftでは、学習とは別に、ページごとに設定します。出典つきの回答には使い、学習には使わせない、という方針は、Microsoftの説明にある設定で書けます。訪問数が増える保証はありません。
Googleでは、Google-Extendedが学習とGeminiの回答参照をまとめて扱います。回答参照だけを残す公式の分け方は、今回の文書にはありません。
OpenAIの10月30日の発表が加えたのは、学習の共通シグナルです。検索回答への掲載は、既存のOAI-SearchBotです。利用者の操作でページを開くChatGPT-Userには、robots.txtが効かない場合があります。
Anthropicでは、学習がClaudeBot、検索用がClaude-SearchBot、利用者の質問での取得がClaude-Userです。共通トークンを書いても、この3つの指定は残します。
著作権、利用契約、個人情報の扱いは、別の文書で決めます。草案も、個別の契約がこの意思表示より優先される場合がある、と書いています。有料記事の本文を、回答が長く再現することへの対処は、認証、契約、公開する抜粋の範囲を組み合わせます。
取得できたことは、利用の許可ではない
ここまでは、ページを公開する側の書き方です。他社のページを取得して回答を作る側では、ページが取れたことと、その使い方が許可されていることは別です。
自社が管理する文書や、契約で利用条件が決まっているデータは、社内の権限の話です。社内文書を検索して答える構成は、社内Agent導入の設計書——RAG・Tools・権限・監査を中核に据えるに書きました。この記事で扱うのは、第三者のWebを材料にする場合です。
草案は、ページに適用される意思表示を、そのページを取得した時点のrobots.txtだ、と書いています。取得したページをあとから学習に使うなら、その時点で学習を拒否していたかを、URLと日時とともに記録します。取得後にサイトの方針が変わっても、その記録を無視して古いコピーを学習に使いません。
共通トークンが示すのは、学習に使ってよいかです。回答の材料にしてよいかは、MicrosoftのGrounding、Google-Extended、OAI-SearchBot、Claude-SearchBotのように、別の指定を確認します。草案では、トークンを書いていないファイルは「意思表示なし」です。Microsoftでは、設定がなければ許可です。設定を書いていないときの扱いは、各社の公式文書で確認します。
利用者の質問で、その場でページを開く動作も別です。OpenAIは、ChatGPT-Userにrobots.txtが効かない場合がある、と書いています。取れたページの文章を、ツールを実行してよい指示としては扱いません。外部の文章を命令にしない実装は、騙されても被害が出ない——間接プロンプトインジェクションを止める実装の芯【中編】にあります。この記事では、その実装の原則は繰り返しません。
取得する処理では、次の3つを決めます。回答の根拠を、取得できたページだけにしない。許諾のあるAPIや、自社の文書を優先する。情報源が拒否に変わったときは、空の回答や、古いキャッシュを返さない。
今日書くのは、方針の表です
公開する側に戻ります。取得する側が設定を確認するには、サイト側の方針が先に必要です。新しい行を、今日すべてのサイトへ配る必要はありません。配る前に、ページの種類ごとに次の表を埋めます。値は、公開ブログで上のように決めた場合の例です。調査結果ではありません。
# 公開情報の利用方針。2026-11-03時点の確認用。実行設定ではない
pages: tech-blog
search_index: allow
generative_training: disallow
answer_citation:
microsoft_grounding: allow
gemini: disallow_with_training
openai_search: allow
anthropic_search: allow
user_opened_fetch: check_each_vendor
already_collected: not_deleted_by_robots_txt
secrets: require_authentication
gemini: disallow_with_training は、Google-Extendedを拒否すると、学習と回答参照が一緒に拒否になる、といういまの文書の読みです。回答参照だけを許可したいなら、この行は未決のままにし、Googleの更新を待ちます。共通トークンを拒否し、Google-Extendedだけを許可すると、Googleでは学習も許可に戻ります。
いまの作業は2つです。1つは、この表をページの種類ごとに書くことです。もう1つは、いまのrobots.txtを公式のトークンと突き合わせ、意図と違う拒否や許可がないかを見ることです。Bingで NoArchive や NoCache をAIの拒否に使っているなら、2027年3月1日が書き換えの期限です。それ以外は、各社が共通トークンを読み始めたと公式に確認してから、既存の行を共通トークンへ置き換えます。
ページを公開すること、学習に使ってよいこと、回答の材料にしてよいことは、3つとも別の判断です。 書き方は会社ごとに違います。IT技術者が行うのは、この判断をrobots.txtやmetaタグに書き、ページを取得する側でもその設定を確認することです。共通トークンの1行を追加するのは、判断を書いたあとです。
作成日: 2026-11-03