Cloudflare 与 OpenAI：让每个人都能享有更好的 AI 内容发现体验
如果 AI 找不到您的网站，那么针对 AI 进行优化就毫无意义。您网站上可能已经有了能解答他人问题的答案：也许是您花了整整一周撰写的安装指南，或者用户使用产品的第一手体验，其中包含了决定他们是否购买的关键细节。随着越来越多的人转向 AI 寻求帮助，您会希望这些系统能找到您的作品、准确地呈现它，并将感兴趣的人引导至您的网站。同时，您也会希望对它们访问您网站的方式拥有掌控权。
Cloudflare 和 OpenAI 正是出于这些考虑，于 2026 年 7 月启动了一项研究试点项目。我们想了解 Cloudflare 网络的信号能否帮助 ChatGPT 用户更高效地发现新内容。
今天，我们将分享初步结果。目前来看，答案是肯定的：试点项目已将之前未知的页面纳入 OpenAI 的搜索索引，为 ChatGPT 提供了更多资源，帮助用户找到相关且及时的信息。在此过程中，我们对页面价值的评判标准以及 AI 系统如何使用网络有了更深入的了解。
发现更多网络内容
网络充满了各种细节。例如，有人需要修理洗衣机，需要找到与洗衣机型号完全匹配的说明书；有人需要申请护照，需要了解最新的申请要求和费用；有人需要选择当地餐厅，需要查看最新的菜单和营业时间。能否找到正确的页面，往往决定了用户是得到错误答案还是真正有用的信息。即使其他网站很少链接到这些页面，它们仍然可能很有价值。
在过去的网络时代，可发现性仅仅意味着在搜索结果页面中排名靠前。之后，就得靠访问您页面的人类访客来判断信息的价值、预订座位或申办护照。随着人们越来越依赖人工智能 (AI) 来查找信息和完成任务，信息的可发现性变得至关重要。AI 系统需要找到合适的信息来源，理解哪些内容有用，并将用户与相关信息连接起来——无论是通过直接回答、引用来源，还是引导他们访问原始网站。
Cloudflare 的网络可提供多种信号，帮助 OpenAI 的搜索爬虫在网络上发现更多有用的页面，并将其呈现给 ChatGPT 用户。OpenAI 随后会根据这些页面的相关性和实用性，独立评估并对其呈现方式进行排名。这两者结合在一起，形成了一个正向的反馈循环，既能改善内容发现，也能提升人们找到的信息质量。
这项联合试点项目使用了 Cloudflare 整体网络中约 1% 的参与样本，已使 OpenAI 能够发现并索引数亿个新的网页，帮助人们发现更多有用的内容，并通过 ChatGPT 解答更多问题。通过链接回相关的来源，ChatGPT Search 也为人们提供了一种探索原始内容的途径，并让他们发现背后的网站与发布者。
借助 GPT-6 和智能用户界面，OpenAI 正在将 ChatGPT 打造成一个更优质的购物、学习和查找答案的平台，提供更多视觉化、互动性强且符合用户需求的体验。这项工作正好与这些进步相辅相成，协助 ChatGPT 从整个网络中发掘更多实用且最新的信息。
从发现到提供有用的答案
找到 URL 仅仅是开始。我们还需要知道它是否会导向一个用户可以访问的页面、该页面是否提供了独特的内容，以及它能帮助人们完成什么任务。
例如，我们已经了解到，自动化流量很容易让一个不存在的页面看起来很有吸引力。机器人会不断请求那些不存在的文件。有些网站会将几乎任何网址都重定向至其首页。而其他网址则可能导向相同内容的副本。识别这些模式使我们能够在爬虫抓取页面之前减少不必要的工作，从而提高效率，使网站所有者受益。
我们也在测试能识别并标记潜在有害页面的信号，增加另一层信息以支持更安全、更可靠的内容发现。一个合法的网站也可能有单一页面遭到入侵，例如被攻击者植入了伪造的登录表单。标记该单一页面而非整个域名，可以在不惩罚网站所有者的情况下保护用户安全。初步结果表明，这些信号有助于识别应被排除在索引之外的页面。
让内容发现变得更简单
随着越来越多的人使用 AI 来发现信息，网站所有者迎来了接触感兴趣受众的新机会。对于那些选择让 AI 系统访问其内容的人来说，这些改进让内容发现变得更加容易且高效。
为了保持更新而频繁地抓取每个页面对于所有人来说都将是一笔不小的开支。对于网站所有者而言，爬虫反复下载未更改的页面只会增加系统负载，而没有任何实际意义。
上述信号正是我们避免这种情况的方法。过滤机制能让爬虫远离那些不存在或重定向到其他地方的页面。“变更信号”则能告诉它们何时值得再次访问某个页面，何时不需要。
这需要取得一个平衡。在发现新页面时，由于需要对其进行评估和索引，抓取量可能会暂时增加。我们的目标是在持续发现新内容并保持信息同步的同时，尽可能减少所需的抓取工作量。对 Cloudflare 的客户而言，这意味着不必要的负载将会减少；对 OpenAI 而言，这意味着其搜索资源能更多地投入到真正对用户有价值的信息上。
让参与变得值得
下一阶段的工作将基于我们现有的经验：进一步优化页面筛选机制，测试更迅速、更可靠的“变更信号”，并衡量内容被发现后所产生的结果。
我们将继续与 OpenAI 合作，探索如何将更高效的网站发现机制转化为实际的商业成果，并将随时分享我们在这一过程中的发现与心得。
在整个过程中，域名所有者的选择至关重要。关于某个页面的“信号”并不等同于访问该页面的许可。这项研究是将网络的元数据用于搜索和发现，而不是将页面内容分享用于模型训练。
您可以使用 Cloudflare 的 AI Crawl Control 来了解并管理 AI 系统访问您网站的方式。
