CloudflareとOpenAI：AIによる検索を、すべての人にとってより良いものに

AIがサイトを見つけられないようでは、AIのためにサイトを最適化してもほとんど意味がありません。誰かの疑問への回答が、既にあなたのWebサイトにあるかもしれません。たとえば、あなたが1週間かけて書いたインストールガイドや、製品を使用した際の体験談で、購入の判断を左右する重要な情報が含まれているかもしれません。助けを求めてAIに頼る人が増える中、あなたのコンテンツをこれらのシステムが見つけて正確に表現し、関心のある人々をあなたのサイトに誘導できることが重要です。また、AIがサイトにアクセスする方法も制御できるようにする必要があります。

CloudflareとOpenAIは、そうした関心を念頭に置いて、2026年7月に 共同研究パイロットを立ち上げました。私たちは、Cloudflareのネットワークからのシグナルによって、ChatGPTユーザーが新しいコンテンツを効率的に見つけられるかどうかを調査しました。

本日は、その初期結果を共有します。これまでのところ、その答えは明確に「はい」です。この試験運用により、以前は知られていなかったページがOpenAIの検索インデックスに取り込まれ、ChatGPTが参照できる情報源を増やしたことで、ユーザーは関連する最新の情報を見つけられます。その過程で、どのようなページが「発見する価値がある」のか、そしてAIシステムはどのようにウェブを使うのか、という点について学びを深めてきました。

Webのさらなる発見

Webは詳細な情報であふれています。洗濯機を修理する人は、特定のモデルのマニュアルが必要です。パスポートを申請する人は、最新の要件や手数料の情報が必要です。地元のレストランを選ぶ人は、最新のメニューや営業時間の情報が必要です。適切なページを見つけることが、誤った回答と実際に役に立つ回答の違いを左右することもあります。これらのページは、他サイトからほとんどリンクが張られていなくても、価値がある場合があります。

従来のウェブでは、「発見しやすさ」とは検索結果ページの上部に来ることでした。その情報の価値を判断し、席を予約し、パスポートの申請を行うかどうかは、ページを訪れた人間次第だったのです。情報収集やタスク完了のためにAIに頼る人が増えるにつれ、発見しやすさは新たな意味で重要になっています。AIシステムは、適切な情報源を見つけ、何が有用かを理解し、答えを通じてであれ、引用を通じてであれ、あるいはウェブサイトそのものへの訪問を通じてであれ、人々を関連情報に繋ぐ必要があります。

Cloudflareのネットワークは、OpenAIの検索クローラーがWeb上でさらに有用なページを見つけ、ChatGPTユーザーに表示できるようにするためのシグナルを提供します。OpenAIは次に、それらのページの関連性や有用性に基づいて、表示方法を個別に評価し、順位付けします。これらが連携することで、発見効率と情報品質の両方を向上させるフィードバックループが形成されます。

Cloudflareの全ネットワークの約1％を参加させるこの共同パイロットプロジェクトにより、OpenAIは何億もの新しいWebページを発見し、インデックスに登録することができました。これにより、ユーザーがChatGPTを通じてより役立つコンテンツを見つけ、より多くの疑問を解決できるようになります。また、ChatGPT Searchでは、関連する情報源へのリンクが提供されることで、ユーザーが元のコンテンツを調べ、背後にあるWebサイトやパブリッシャーを発見する機会も得られます。

OpenAIは、 GPT-6とIntelligent UIを導入し、ChatGPTで買い物をしたり、学んだり、回答を見つけたりしやすくするとともに、ユーザーが必要とするものに合わせて視覚的でよりインタラクティブな体験も提供しています。この取り組みは、ChatGPTがWeb上のより役に立つ最新情報を発見しやすくすることで、こうした進歩を補完するものです。

発見から役立つ回答まで

URLを見つけることは、始まりに過ぎません。URLがアクセス可能なページにつながっているか、そのページが独自の価値を提供しているか、そして、そのページがユーザーのどのような行動に役立つ可能性があるかを把握する必要があります。

たとえば、自動化されたトラフィックが、存在しないページをいかに簡単に魅力的に見せてしまうかを学びました。ボットは繰り返し、存在しないファイルを要求してきます。ほぼすべてのアドレスを、ホームページにリダイレクトするサイトもあります。他のアドレスが同じコンテンツのコピーにつながることもあります。これらのパターンを認識することで、クローラーがページを取得する前に無駄な作業を削減し、サイト所有者のメリットとなるように効率化できます。

また、潜在的に有害なページを特定してフラグを立てるシグナルのテストも行っています。これにより、さらに情報レイヤーが追加され、より安全で信頼性の高い探索を支援できます。正当なサイトであっても、攻撃者が植え付けた偽のログインフォームなど、1つのページだけ侵害されている場合があります。ドメイン全体ではなく、その1つのページにフラグを立てることで、サイト所有者にペナルティを課すことなくユーザーを安全に保つことができます。初期の結果から、これらのシグナルはインデックスに含めるべきではないページを特定するのに役立つことが示されています。

検索を簡素化

AIを使って情報を検索する人が増える中で、Webサイトの所有者は、関心のあるオーディエンスにアプローチする新しい機会を得ることができます。AIシステムがコンテンツにアクセスできるようにすることを選択した所有者にとって、これらの改善により、探索がより簡単で効率的になります。

すべてのページを頻繁にフェッチして最新の状態を維持することは、すべての人にとってコストがかさむことになります。Webサイトの所有者にとって、変更されていないページを繰り返しダウンロードするクローラーは、何のメリットもなく負荷を増大させることになります。

上記のシグナルは、それを避けるための方法です。フィルタリングを行うことで、クローラーが存在しないページや、他の場所へリダイレクトされるページにアクセスしないようにすることができます。変更シグナルによって、ページが再訪問する価値があるかどうかがわかります。

適切なバランスを取る必要があります。新しいページを見つけると、そのページが評価され、インデックスに登録される過程で、最初はページクロール数が増加することがあります。目的は、作業を最小限に抑えながら、新しいページの検索を続け、常に最新の情報を入手することです。Cloudflareのお客様にとっては、不必要な負荷が減ることを意味します。OpenAIにとっては、人々の役に立つ情報に対して、検索リソースがより多く費やされることを意味します。

参加価値の創造

次のフェーズでは、得られた教訓を基にして、ページの選択を改善し、より速く信頼性の高い変更シグナルをテストし、コンテンツが発見された後に何が起こるかを測定します。

私たちは引き続きOpenAIと協力して、より優れたサイト検索がいかにして具体的なビジネス成果につながるかを理解し、その過程で得られた知見を今後も共有していきます。

ドメイン所有者の選択は、プロセス全体を通じて重要です。ページに関するシグナルがあっても、そのページにアクセスするための権限が得られるわけではありません。この調査では、モデル学習のためにページの内容を共有するのではなく、検索や発見のためにウェブに関するメタデータを使用しています。

 CloudflareのAI Crawl Controlを使用して、AIシステムがあなたのWebサイトにアクセスする方法を理解し、管理することができます。