AIAI 搜尋Crawlers機器人

Cloudflare 與 OpenAI：讓每個人都能享有更好的 AI 內容發現體驗

Matthew Conroy、Jack Galilee、Henry Aspegren (OpenAI)和James Balfour (OpenAI)

閱讀時間：5 分鐘

這篇文章亦提供 English、Deutsch、Español、Français、日本語、한국어和简体中文.

如果 AI 找不到您的網站，那麼針對 AI 進行最佳化就毫無意義。您網站上可能已經有了能解答他人問題的答案：也許是您花了整整一周撰寫的安裝指南，或者使用者使用產品的第一手體驗，其中包含了決定他們是否購買的關鍵細節。隨著越來越多的人轉向 AI 尋求幫助，您會希望這些系統能找到您的作品、準確地呈現它，並將感興趣的人引導至您的網站。同時，您也會希望對它們存取您網站的方式擁有掌控權。

Cloudflare 和 OpenAI 正是出於這些考慮，於 2026 年 7 月​啟動了一項研究試點專案。我們想瞭解 Cloudflare 網路的訊號能否協助 ChatGPT 使用者更高效地發現新內容。

今天，我們將分享初步結果。目前來看，答案是肯定的：試點專案已將之前未知的頁面納入 OpenAI 的搜尋索引，為 ChatGPT 提供了更多資源，幫助使用者找到相關且及時的資訊。在此過程中，我們對頁面價值的評判標準以及 AI 系統如何使用網路有了更深入的瞭解。

發現更多網路內容

網路充滿了各種細節。例如，有人需要修理洗衣機，需要找到與洗衣機型號完全相符的說明書；有人需要申請護照，需要瞭解最新的申請要求和費用；有人需要選擇當地餐廳，需要查看最新的功能表和營業時間。能否找到正確的頁面，往往決定了使用者是得到錯誤答案還是真正有用的資訊。即使其他網站很少連結到這些頁面，它們仍然可能很有價值。

在過去的網路時代，可發現性僅僅意味著在搜尋結果頁面中排名靠前。之後，就得靠存取您頁面的人類訪客來判斷資訊的價值、預訂座位或申辦護照。隨著人們越來越依賴人工智慧 (AI) 來查找資訊和完成任務，資訊的可發現性變得至關重要。AI 系統需要找到合適的資訊來源，理解哪些內容有用，並將使用者與相關資訊連接起來——無論是透過直接回答、引用來源，還是引導他們造訪原始網站。

Cloudflare 的網路可提供多種訊號，協助 OpenAI 的搜尋爬蟲在網路上發現更多有用的頁面，並將其呈現給 ChatGPT 使用者。OpenAI 隨後會根據這些頁面的相關性和實用性，獨立評估並對其呈現方式進行排名。這兩者結合在一起，形成了一個正向的回饋迴圈，既能改善內容發現，也能提升人們找到的資訊品質。

這項聯合試點專案使用了 Cloudflare 整體網路中約 1% 的參與樣本，已使 OpenAI 能夠發現並索引數億個新的網頁，幫助人們發現更多有用的內容，並透過 ChatGPT 解答更多問題。透過連結回相關的來源，ChatGPT Search 也為人們提供了一種探索原始內容的途徑，並讓他們發現背後的網站與發佈者。

借助 ​GPT-6 和智慧使用者介面，OpenAI 正在將 ChatGPT 打造成一個更優質的購物、學習和查找答案的平台，提供更多視覺化、互動性強且符合使用者需求的體驗。這項工作正好與這些進步相輔相成，協助 ChatGPT 從整個網路中發掘更多實用且最新的資訊。

從發現到提供有用的答案

找到 URL 僅僅是開始。我們還需要知道它是否會導向一個使用者可以存取的頁面、該頁面是否提供了獨特的內容，以及它能協助人們完成什麼任務。

例如，我們已經瞭解到，自動化流量很容易讓一個不存在的頁面看起來很有吸引力。機器人會不斷請求那些不存在的檔案。有些網站會將幾乎任何網址都重新導向至其首頁。而其他網址則可能導向相同內容的副本。識別這些模式使我們能夠在爬蟲抓取頁面之前減少不必要的工作，從而提高效率，使網站擁有者受益。

我們也在測試能識別並標記潛在有害頁面的訊號，增加另一層資訊以支援更安全、更可靠的內容發現。一個合法的網站也可能有單一頁面遭到入侵，例如被攻擊者植入了偽造的登入表單。標記該單一頁面而非整個網域，可以在不懲罰網站擁有者的情況下保護使用者安全。初步結果表明，這些訊號有助於識別應被排除在索引之外的頁面。

讓內容發現變得更簡單

隨著越來越多的人使用 AI 來發現資訊，網站擁有者迎來了接觸感興趣受眾的新機會。對於那些選擇讓 AI 系統存取其內容的人來說，這些改進讓內容發現變得更加容易且高效。

為了保持更新而頻繁地抓取每個頁面對於所有人來說都將是一筆不小的開支。對於網站擁有者而言，爬蟲反復下載未變更的頁面只會增加系統負載，而沒有任何實際意義。

上述訊號正是我們避免這種情況的方法。篩選機制能讓爬蟲遠離那些不存在或重新導向到其他地方的頁面。「變更訊號」則能告訴它們何時值得再次造訪某個頁面，何時不需要。

這需要取得一個平衡。在發現新頁面時，由於需要對其進行評估和索引，抓取量可能會暫時增加。我們的目標是在持續發現新內容並保持資訊同步的同時，盡可能減少所需的抓取工作量。對 Cloudflare 的客戶而言，這意味著不必要的負載將會減少；對 OpenAI 而言，這意味著其搜尋資源能更多地投入到真正對使用者有價值的資訊上。

讓參與變得值得

下一階段的工作將基於我們現有的經驗：進一步最佳化頁面篩選機制，測試更迅速、更可靠的「變更訊號」，並衡量內容被發現後所產生的結果。

我們將繼續與 OpenAI 合作，探索如何將更高效的網站發現機制轉化為實際的商業成果，並將隨時分享我們在這一過程中的發現與心得。

在整個過程中，網域擁有者的選擇至關重要。關於某個頁面的「訊號」並不等同於存取該頁面的許可。這項研究是將網路的中繼資料用於搜尋和發現，而不是將頁面內容分享用於模型訓練。

您可以使用​ Cloudflare 的 AI Crawl Control 來瞭解並管理 AI 系統存取您網站的方式。