Cloudflare와 OpenAI: 모두를 위한 AI 콘텐츠 탐색 경험 개선

AI가 웹사이트를 찾지 못한다면 AI에 맞춰 사이트를 최적화해도 소용이 없습니다. 누군가의 질문에 대한 답이 이미 여러분의 웹사이트에 있을 수 있습니다. 일주일에 걸쳐 작성한 설치 가이드일 수도 있고, 구매 여부를 좌우할 만한 세부 정보가 담긴 실제 제품 사용 후기일 수도 있습니다. 도움을 얻기 위해 AI를 찾는 사람이 늘어남에 따라, 여러분은 이러한 시스템이 자신의 콘텐츠를 찾아 정확하게 전달하고 관심 있는 사람들을 웹사이트로 안내하기를 바랄 것입니다. 동시에 AI 시스템이 사이트에 액세스하는 방식도 제어하고 싶을 것입니다.

Cloudflare와 OpenAI는 이러한 요구를 염두에 두고 2026년 7월 ​공동 연구 파일럿을 시작했습니다. 우리는 Cloudflare 네트워크에서 얻은 신호가 ChatGPT 사용자의 새로운 콘텐츠 발견을 더 효율적으로 지원할 수 있는지 알아보고자 했습니다.

오늘 그 초기 결과를 공유합니다. 지금까지의 답은 분명히 그렇다는 것입니다. 이번 파일럿을 통해 이전에는 알려지지 않았던 페이지들이 OpenAI의 검색 인덱스에 추가되었고, ChatGPT는 사람들이 관련성 높고 시의적절한 정보를 찾도록 도울 때 활용할 수 있는 출처가 더 많아졌습니다. 이 과정에서 우리는 어떤 페이지를 발견할 가치가 있는지, AI 시스템이 웹을 어떻게 활용하는지에 대해서도 더 많이 알게 되었습니다.

웹에서 더 많은 콘텐츠 발견하기

웹에는 구체적인 정보가 가득합니다. 세탁기를 수리하는 사람에게는 정확히 해당 모델의 사용 설명서가 필요합니다. 여권을 신청하는 사람에게는 최신 신청 요건과 수수료가 필요합니다. 동네 식당을 고르는 사람에게는 최신 메뉴와 영업시간이 필요합니다. 알맞은 페이지를 찾느냐에 따라 잘못된 답을 얻을 수도 있고 실제로 도움이 되는 답을 얻을 수도 있습니다. 다른 사이트에서 연결하는 링크가 거의 없는 페이지라도 충분히 가치가 있을 수 있습니다.

이전의 웹에서 발견 가능성이란 검색 결과 페이지의 상단에 노출되는 것을 의미했습니다. 그다음에는 페이지를 방문한 사람이 정보의 가치를 판단하고, 식당을 예약하거나 여권을 신청하는 등의 행동을 결정했습니다. 사람들이 정보를 찾고 작업을 완료하는 데 점점 더 AI에 의존하면서 발견 가능성의 의미도 새롭게 확장되고 있습니다. AI 시스템은 올바른 출처를 찾고 어떤 정보가 유용한지 이해한 다음, 답변, 출처 인용 또는 웹사이트 직접 방문 등의 방식으로 사람들을 관련 정보와 연결해야 합니다.

Cloudflare의 네트워크는 OpenAI의 검색 크롤러가 웹 전반에서 더 유용한 페이지를 발견해 ChatGPT 사용자에게 보여줄 수 있도록 돕는 신호를 제공합니다. 이후 OpenAI는 페이지의 관련성과 유용성에 따라 해당 페이지를 어떻게 표시할지 독립적으로 평가하고 순위를 결정합니다. 이 두 과정이 결합되어 콘텐츠 발견과 사람들이 찾는 정보의 품질을 모두 개선할 수 있는 피드백 루프가 형성됩니다.

Cloudflare 전체 네트워크의 약 1%에 해당하는 참여 집단을 대상으로 진행한 이번 공동 파일럿을 통해 OpenAI는 이전에 발견하지 못했던 수억 개의 웹페이지를 발견하고 인덱싱할 수 있었습니다. 그 결과 사람들은 ChatGPT를 통해 더 유용한 콘텐츠를 찾고 더 많은 질문에 대한 답을 얻을 수 있게 되었습니다. ChatGPT Search는 관련 출처로 돌아가는 링크도 제공하므로 사용자는 원본 콘텐츠를 직접 살펴보고 해당 콘텐츠를 게시한 웹사이트와 퍼블리셔를 발견할 수 있습니다.

OpenAI는 ​GPT-6와 Intelligent UI를 통해 ChatGPT를 쇼핑하고, 학습하고, 답을 찾기에 더욱 유용한 공간으로 만들고 있습니다. 사용자 요구에 맞춘 더 시각적이고 상호작용적인 경험을 제공하는 것입니다. 이번 협력은 ChatGPT가 웹 전반에서 더 유용하고 최신 상태인 정보를 발견하도록 지원함으로써 이러한 발전을 보완합니다.

콘텐츠 발견에서 유용한 답변까지

URL을 찾는 것은 시작일 뿐입니다. 해당 URL이 실제로 누군가가 액세스할 수 있는 페이지로 연결되는지, 그 페이지가 차별화된 정보를 제공하는지, 그리고 그 정보가 누군가에게 어떤 도움을 줄 수 있는지 알아야 합니다.

예를 들어, 우리는 자동화 트래픽 때문에 존재하지 않는 페이지도 흥미로운 페이지처럼 보이기 쉽다는 사실을 확인했습니다. 봇은 존재하지 않는 파일을 반복해서 요청합니다. 일부 사이트는 거의 모든 주소를 홈페이지로 리디렉션합니다. 또 다른 주소들은 동일한 콘텐츠의 복사본으로 연결됩니다. 이러한 패턴을 알아내면 크롤러가 페이지를 가져오기 전에 불필요한 작업을 줄이고 사이트 소유자에게도 도움이 되는 방식으로 효율성을 높일 수 있습니다.

우리는 잠재적으로 유해한 페이지를 식별하고 표시하는 신호도 테스트하고 있으며, 이를 통해 더 안전하고 신뢰할 수 있는 콘텐츠 발견을 지원하는 정보를 한층 더 보강하고 있습니다. 정상적인 사이트에도 공격자가 심어 놓은 가짜 로그인 양식처럼 침해된 페이지가 하나쯤 있을 수 있습니다. 도메인 전체가 아니라 해당 페이지 하나만 표시하면 사이트 소유자에게 불이익을 주지 않으면서 사람들을 보호할 수 있습니다. 초기 결과에 따르면 이러한 신호는 검색 인덱스에서 제외해야 할 페이지를 식별하는 데 도움이 될 수 있습니다.

콘텐츠를 더 쉽게 발견하도록 지원하기

정보를 찾는 데 AI를 사용하는 사람이 늘어나면서 웹사이트 소유자는 관심 있는 잠재고객에게 도달할 새로운 기회를 얻고 있습니다. AI 시스템에 콘텐츠를 제공하기로 선택한 웹사이트 소유자에게 이러한 개선 사항은 콘텐츠 발견을 더 쉽고 효율적으로 만들어 줍니다.

최신 정보를 유지하기 위해 모든 페이지를 더 자주 가져오는 방식은 모두에게 큰 비용을 초래합니다. 웹사이트 소유자 입장에서는 변경되지 않은 페이지를 반복해서 다운로드하는 크롤러가 아무런 이점 없이 부하만 늘릴 뿐입니다.

앞서 설명한 신호가 바로 이러한 낭비를 방지하는 방법입니다. 필터링은 크롤러가 존재하지 않거나 다른 곳으로 리디렉션되는 페이지를 방문하지 않도록 합니다. 변경 신호는 어떤 페이지를 다시 방문할 가치가 있고 어떤 페이지는 그렇지 않은지 알려줍니다.

여기에는 적절한 균형이 필요합니다. 새 페이지를 발견하면 해당 페이지를 평가하고 인덱싱하는 초기 단계에서 크롤링이 일시적으로 늘어날 수 있습니다. 목표는 새로운 콘텐츠를 계속 발견하고 최신 상태를 유지하면서도 그에 필요한 작업량은 줄이는 것입니다. Cloudflare 고객에게는 불필요한 부하가 감소한다는 의미입니다. OpenAI에는 검색 리소스를 사람들에게 도움이 되는 정보를 찾는 데 더 많이 사용할 수 있다는 의미입니다.

참여의 가치를 높이기

다음 단계에서는 지금까지 배운 내용을 바탕으로 페이지 선별 방식을 개선하고, 더 빠르고 신뢰할 수 있는 변경 신호를 테스트하며, 콘텐츠가 발견된 후 어떤 일이 일어나는지 측정할 것입니다.

우리는 사이트의 콘텐츠가 더 잘 발견되도록 하는 것이 실질적인 비즈니스 성과로 어떻게 이어질 수 있는지 이해하기 위해 OpenAI와 계속 협력하고 있으며, 그 과정에서 배운 내용도 지속적으로 공유할 것입니다.

도메인 소유자의 선택은 이 모든 과정에서 중요합니다. 특정 페이지에 관한 신호가 있다고 해서 그 페이지에 액세스할 권한이 주어지는 것은 아닙니다. 이번 연구에서는 모델 학습을 위해 페이지 콘텐츠를 공유하는 대신, 검색과 콘텐츠 발견을 위한 웹 메타데이터를 사용합니다.

​Cloudflare의 AI Crawl Control을 사용하면 AI 시스템이 웹사이트에 액세스하는 방식을 파악하고 관리할 수 있습니다.