両立させる方法：AIの学習を拒否しつつ、検索で発見可能な状態を維持するには

適切な制御手段を持たないWebサイト所有者は、長年、コンテンツがAIトレーニングに利用されることを黙認するか、検索による発見可能性を低下させるかのどちらかを選択せざるを得ない難しい状況にありました。これは、インターネット上の大手組織の一部が、1つが検索とAIトレーニングの両方の役割を持つクローラーを運用しているためであり、一方を拒否すれば、もう一方も拒否することになるためです。

本日Cloudflareは、検索インデックスへの登録を維持しながら、同じクローラーによるコンテンツのトレーニング利用を拒否できる新しい［AIトレーニングを許可しない］設定を発表します。Apple、Google、Microsoftは、この設定を尊重しているか、指定された期間内に尊重することを表明しています。

トレーニングをめぐる問題で最も難しかったのは、複合用途クローラーへの対応でした。次の課題はAI要約です。サイト全体で要約への使用を一律に許可または禁止するだけでは、十分ではありません。要約にコンテンツを使用するかどうかだけでなく、どの程度使用するかも重要だからです。AI要約を拒否できる仕組みは、複合用途クローラーの運営者にすでに求めている要件の1つです。来年初めまでには、運営者ごとに個別に設定するのではなく、Cloudflareで一度設定するだけで、要約に使用されるコンテンツの量を調整できるようにすることを目指しています。

意思表示だけでは不十分な理由

ほとんどのサイト所有者は、人間、エージェント、そして善良なボットにサイトを見つけてもらいたいと考えています。しかし、オープンインターネットの多くは広告、サブスクリプション、または訪問者との直接的な関係によって支えられており、こうしたビジネスモデルで収益が生じるのは、実際に誰かがサイトを訪れたときだけです。

ほぼすべてのサイト所有者が、検索エンジンからサイトを見つけてもらうことは有益だと考えています。実際、検索ボットをブロックしているCloudflareサイトは1%未満です。一方、AIトレーニングについては事情が異なり、17%のサイトが、コンテンツをAIトレーニングに使用されないようにする何らかの機能を有効にしています。このためCloudflareは、すべてのAIを一律にブロックする機能ではなく、用途に応じて細かく設定できる機能が必要だと判断しました。

robots.txtに指示を記載するだけでは、この問題は解決できません。robots.txtは誰でも手軽に公開できる一方、実際に自分のサイトのクロール元や目的を知ることはできず、robots.txtを無視するクローラーを止めることもできません。

一方、ネットワーク側であれば対応できます。Cloudflareは、サイト所有者が設定した方針を公開するとともに、クロール元と目的を判別します。そして、方針を無視するクローラーをブロックし、各運営者が実際にどのように対応しているかをRadarで公開します。

ただし、クローラーをブロックしても、そのクローラーを排除できるだけで、クローラー側の行動を変えることはできません。より望ましいのは、サイト所有者に選択を迫らない運営者が増えることです。そこでCloudflareは7月以降、クローラーの運営者と直接話し合ってきました。その反応は前向きなものでした。ほぼすべての運営者が、サイト所有者には、自分のコンテンツがどのように使われるかを把握し、制御する権利が必要であり、その選択が尊重されるという安心感も必要だという考えに同意しました。このような運営者をサイト所有者が見分けられるように、Cloudflareは「Accountable」という認定区分を設けました。

「Accountable」は、現在すでに提供されている機能だけでなく、今後その機能を提供するという具体的な確約も評価します。「Accountable」と認められるには、ボット運営者が以下の要件を満たしているか、今後満たすことを確約している必要があります：

1. robots.txtまたは同様の標準を利用して、サイト所有者がAIトレーニングへの利用を拒否できる仕組みを提供すること。
2. サイト所有者がAI要約への利用を拒否できる仕組みを提供すること。現在は各運営者に直接設定し、来年からはCloudflareを通じても設定できるようにすること（詳細は後述）。
3. どのページがトレーニングに利用可能な状態になったかをURL単位で確認できるようにし、コンテンツが検索結果にどのように表示されたかを示す指標も提供すること。
4. AIトレーニングへの利用を拒否しても、従来の検索結果には影響しないことを保証すること。

Apple、Google、Microsoftはいずれも、「Accountable」の要件を満たしていることを示しています。各社は、現在利用できる機能に加え、開発中の機能についても提供期限を明確にしています。各社のクローラーの詳細については、以下で説明します。

新しいセキュリティ設定オプション

Cloudflareは、ボットを活動目的（1つのボットが複数の目的を担っている場合もあります）に基づいて分類します。設定で制御できる動作は、次の3種類です：

• 検索：検索インデックスを構築するためのクロール。
• トレーニング：モデルをトレーニングまたは微調整を行うためのクロール。
• エージェント：チャット取得ボットやブラウザー操作エージェントなど、人間に代わってページにアクセスするユーザー指示型エージェント。

複合用途クローラーとは、検索とAIトレーニングの両方の役割を兼ね備えたクローラーであり、適切な制御手段がなければ、サイト所有者は一方の用途だけを拒否できません。これが、前述したトレードオフを生み出していました。

「Accountable」な複合用途クローラーは、サイト所有者に検索とAIトレーニングの二者択一を迫りません。このようなクローラーまでブロックしないようにするため、Cloudflareは［AIトレーニングを許可しない］設定を導入します。この名称は、robots.txtに記載される「Disallow:」ディレクティブに由来しています。

［ブロック］設定の意味が変わります

これまで［ブロック］と［広告のあるページでブロック］は、複合用途クローラーには適用されませんでした。複合用途クローラーをブロックすると、検索でサイトを見つけてもらいにくくなる可能性があったためです。新しい［AIトレーニングを許可しない］設定の導入後は、［ブロック］と［広告のあるページでブロック］が、複合用途クローラーを含むすべてのトレーニングクローラーに適用されます。

検索、トレーニング、エージェントの制御は、ドメイン単位で設定します。［AIトレーニングを許可しない］の追加後は以下の設定が選択できます：

1. 許可：別の設定またはWAFルールでブロックされていない限り、すべてのクローラーを許可します。
2. AIトレーニングを許可しない：Bot Preference Syncが、AIトレーニングへの利用を拒否する方針をrobots.txtに公開します。「Accountable」な複合用途クローラーは、検索目的であれば引き続きアクセスできますが、その他のトレーニングクローラーはすべてブロックされます。これには、Amazon、Anthropic、Meta、OpenAIが運用するトレーニング専用クローラーも含まれます。これらをブロックしても検索には影響しません。この設定を使用できるのはトレーニングのみで、検索やエージェントには使用できません。
3. 広告のあるページでブロック：複合用途クローラーを含むクローラーを、広告を配信していると検出されたページでのみブロックします。
4. ブロック：複合用途クローラーを含むすべてのクローラーをブロックします。

［AIトレーニングを許可しない］は、robots.txtに方針を公開することで機能します。一方、広告のあるページだけを対象とする方針は、robots.txtでは表現できません。Cloudflareは広告を配信しているページを検出できますが、対象ページが多く、頻繁に変化するため、その一覧をrobots.txtに記載することは現実的ではありません。そのため、［広告のあるページでAIトレーニングを許可しない］という設定は用意されていません。

エージェントの場合、複合用途クローラーのように、検索での見つけやすさとのトレードオフは生じません。また、エージェントに対する拒否の意思を示すための標準的なディレクティブも、まだ確立されていません。そのため、現時点ではエージェント向けの［許可しない］設定は追加しません。ai-prefsなどの標準が普及した段階で、この方針を見直します。

9月15日に何が変わりますか？

Bot ManagementとAI Crawl Controlに、以下の変更を行います：

1. ［ブロック］と［広告のあるページでブロック］が、Applebot、Bingbot、Googlebotなどの複合用途クローラーにも適用されるようになります。そのため、どちらの設定もAIトレーニングだけでなく検索にも影響します。検索での表示を維持しながらAIトレーニングを停止するには、［AIトレーニングを許可しない］を使用してください。
2. ［AIボットをブロック］は廃止され、検索、トレーニング、エージェントを個別に設定できる、より細かな制御機能に置き換えられます。
3. Managed Robots.txtは廃止され、Bot Preference Syncに置き換えられます。Managed Robots.txtを有効にしているお客様は、自動的に新しい方式へ移行されます。
4. 一部の新規ドメインでは、［AIトレーニングを許可しない］が推奨設定に含まれるようになります。
5. 既存のお客様の設定は、以下のとおり新しい制御機能へ移行されます。

必要な対応

ほとんどの場合、何もする必要はありません。現在の設定は自動的に引き継がれます。

複合用途クローラーを検索も含めて完全に停止したい場合は、［ブロック］を選択してください。Applebot、Bingbot、Googlebotはサイトにアクセスできなくなり、検索での表示にも影響します。

検索／トレーニング／エージェントの制御を一度も使用していない既存ドメイン

これまで検索、トレーニング、エージェントの個別設定を使用していなかったサイトは、従来の［AIボットをブロック］設定に基づいて、新しい設定へ移行されます：

検索／トレーニング／エージェントの制御を以前に設定した既存ドメイン

これまで検索、トレーニング、エージェントを個別に設定していたドメインでは、新しい定義に移行した後も、現在の設定と実質的に同じ効果が維持されます。従来のトレーニング設定で［ブロック］または［広告のあるページでブロック］を選択していた場合は、［AIトレーニングを許可しない］へ移行されます。

新規ドメインの推奨設定

9月15日以降、新しいドメインを追加する際には、そのサイトが広告収益を得ているかどうかに応じて、2種類の推奨設定のいずれかが表示されます。広告収益を得るには、人間が実際にページを見る必要があります。しかし、AIトレーニングでは、その訪問がAIの回答に置き換わります。また、エージェントは広告を見る人がいない状態でページを取得します。そのため、広告で収益化しているサイトには、より制限の厳しい設定が推奨されます。これらの設定は、オンボーディング中でも、その後でも、いつでも変更できます。

新規ドメインの推奨設定。

これは個々の複合用途クローラーにとって何を意味しますか？

Applebot、Bingbot、Googlebotは「Accountable」に指定されています。Apple、Google、Microsoftは、コンテンツの利用方法をパブリッシャーが選べることと、その利用方法を明確にすることを共通の原則としています。［AIトレーニングを許可しない］を選択しても、各クローラーは検索目的で引き続きサイトをクロールできます。［ブロック］を選択すると、検索を含むすべてのクロールが停止します。

Amazon、Anthropic、Meta、OpenAIの関連クローラーも「Accountable」に分類されています。これらの企業は、検索用クローラーとAIトレーニング用クローラーを分けています。そのためCloudflareは、検索に影響を与えずに、AIトレーニング用クローラーだけをブロックできます。

Applebot

Applebotでは、robots.txtに「Applebot-Extended」向けのDisallowルールを追加することで、AIトレーニングへの利用を拒否できます。また、ページのHTMLにnosnippet ディレクティブを指定することで、AI要約に関する方針を示すこともできます。コンテンツを有料コンテンツとして指定し、生成AIの回答から除外することも可能です。Applebotには、URL単位で利用状況を確認するためのツールがまだありません。ただし、CloudflareはAppleのチームと協議しており、来年の提供に向けて開発中の仕組みについて説明を受けています。またAppleは、AIトレーニングへの利用を拒否しても検索順位には影響しないと表明しています。

Googlebot

Googlebotでは、robots.txtに「Google-Extended」向けのDisallowルールを追加することで、AIトレーニングへの利用を拒否できます。また、Webマスター向けポータルには、サイトのコンテンツを生成AIによる検索結果から除外するための設定があります。Googlebotは、通常の検索結果とAI要約に関する指標やレポートも提供しています。Googleは、既存の機能や最近導入した機能に加え、現在開発中の機能についても情報を共有しました。その中には、Google-Extendedによる利用状況をURL単位で確認しやすくするツールも含まれており、数週間以内に提供される予定です。またGoogleは、Google-Extendedを拒否しても検索順位には影響しないと表明しています。

Bingbot

Bingbotは、Webmaster Toolsで、細かな制御機能と利用状況の情報を提供しています。現在、サイト所有者はBingのNOARCHIVE メタタグを使用して、AIトレーニングへの利用を拒否できます。Microsoftはこの機能を拡張し、robots.txtに記載されたトレーニング拒否の方針をドメインまたはサイト単位で尊重する仕組みを開発しています。提供開始は2027年初めの予定です。現時点でBingによるトレーニングを拒否したいCloudflareのお客様は、NOARCHIVEタグに加えて、URLのブロックまたはコンテンツ削除ツールも使用できます。またMicrosoftは、NOARCHIVEを使用しても検索順位には影響しないと表明しています。

Microsoftがこの仕組みを提供するまでは、［AIトレーニングを許可しない］を選択しても、robots.txtを通じてトレーニング拒否の方針がBingへ自動的に伝わることはありません。これは、Bingbotなどの複合用途クローラーには適用されなかった、従来のトレーニングの［ブロック］設定と実質的に同じ動作です。

継続的な取り組み

Cloudflareは、機能や標準の進化に合わせて、すべてのAIクローラー運営者への働きかけと協議を続けます。Cloudflare Radarでは、「Accountable」なクローラー運営者が提供している制御機能、透明性、レポート機能を公開しています。 

インターネットをより良いものにするには、双方に選択肢が必要です。クローラーにはオープンWebへアクセスする手段が必要です。一方、Webを作る人々には、自分たちのコンテンツがどのように使われるかを適切に制御する手段が必要です。今回の発表は、そのバランスの実現に向けた具体的な一歩です。

この取り組みを前進させるには、インフラストラクチャプロバイダー、コンテンツ制作者、テクノロジー企業、IETFなどの標準化団体が協力し、これらの考え方をオープンで相互運用可能な標準にする必要があります。

今後の予定：AI要約

AIトレーニングとAI要約は、サイト所有者にとって異なる問題です。AIトレーニングでは、コンテンツをAIモデルの構築に使用してよいかどうかが問題になります。一方、AI要約は、人々が企業やサイトをどのように見つけ、評価し、最終的に訪問するかに影響します。どちらも重要ですが、ビジネスに与える影響は異なります。

まず必要なのは、AI要約への利用を拒否できる仕組みです。「Accountable」に指定された運営者は、すでにその機能を提供しているか、提供に向けた作業を進めています。これにより、サイト所有者には拒否する選択肢があるという、重要な基準が確立されます。

ただし、サイト全体でAI要約への利用を許可するか、すべて禁止するかという二者択一では、制御が大まかすぎます。適切な判断は、サイトの種類、コンテンツ、求める成果によって異なります。パブリッシャーにとってAIトレーニングは、コンテンツを誰が制御するのか、対価をどうするのか、独自コンテンツを持続的に提供できるのかという根本的な問題です。一方、AI要約では、利用者がパブリッシャーのサイトを訪れるのか、それとも検索やAIサービス内で回答を得て終わるのかが、より差し迫った問題になります。その他の企業でも、AI要約は見込み顧客とWebサイトの間に入る存在になりつつあります。質問への回答、選択肢の比較、製品の推奨などを行い、そもそもサイトを訪れるかどうかの判断にも影響します。

データを見ると、AI要約の影響は一様ではありません。消費者の半数以上が検索結果の要約を読んでいます。そのような消費者は、要約を読んだ後に検索を終了する可能性が40%以上高く、Webサイトへの訪問数が減る可能性があります。一方、AI検索からサイトを訪れた消費者のコンバージョン率は、通常の検索から訪れた消費者の3倍から5倍超です。AIによって訪問数は減るかもしれませんが、購入などの行動につながりやすい顧客が増える可能性があります。

これは、単純に良いこととも悪いこととも言えません。広告収益型のパブリッシャーは、できるだけ多くの人に訪問してもらうことを重視するでしょう。一方、小売業者は、訪問者の数が少なくても、購入する可能性が高い人を歓迎するかもしれません。Cloudflareの役割は、どちらを選ぶべきか決めることではありません。それぞれのサイト所有者が十分な情報に基づいて判断できるよう、必要な情報と制御手段を提供することです。

AI要約への利用を拒否できる仕組みは重要な第一歩ですが、それだけで十分ではありません。Cloudflareが次に目指すのは、AI要約がビジネスに与える影響をサイト所有者が把握し、コンテンツをどの程度使用させるかを細かく調整できるようにすることです。ai-prefsなどのオープン標準も、その実現に重要な役割を果たします。

この議論に参加したい方や、ご意見をお寄せいただける方は、crawlercontrols@cloudflare.comまでご連絡ください。

これらの新しい制御機能は、すべてのプランのお客様が利用できます。ドメイン（ゾーン）のセキュリティ設定から設定できます。まだCloudflareをご利用でない場合は、無料で開始して、お望みのトラフィック制御を今すぐ設定しましょう。