Cloudflare y OpenAI mejoran la búsqueda de contenido con IA

La optimización de tu página web para la IA no sirve de mucho si la IA no puede encontrarla. La respuesta a la pregunta de alguien puede estar ya en tu sitio web: la guía de instalación que te llevó una semana escribir, o un testimonio de primera mano sobre cómo usar un producto, con esos detalles que marcan la diferencia a la hora de decidir si lo compran o no. A medida que más gente recurre a la IA en busca de ayuda, quieres que esos sistemas encuentren tu trabajo, lo representen con precisión y dirijan a las personas interesadas hacia tu sitio. También quieres tener control sobre cómo acceden a tu sitio.

Cloudflare y OpenAI lanzaron un proyecto piloto de investigación en julio de 2026 pensando en esos intereses. Queríamos saber si las señales de la red de Cloudflare podrían ayudar a los usuarios de ChatGPT a encontrar nuevo contenido de forma más eficaz.

Hoy compartimos los primeros resultados. Hasta ahora, la respuesta es un rotundo sí. El proyecto piloto ha incluido en el índice de búsqueda de OpenAI páginas antes desconocidas, lo que da a ChatGPT más fuentes de las que extraer para ayudar a la gente a encontrar información relevante y oportuna. A lo largo de este proceso, hemos aprendido más sobre qué hace que una página merezca la pena ser descubierta y cómo los sistemas de IA utilizan la web.

Más contenido en la web

La web está llena de detalles. Alguien que está arreglando una lavadora necesita el manual de su modelo exacto. Alguien que solicite un pasaporte necesita los requisitos y tasas actuales. Una persona que elija un restaurante local necesita su menú más reciente y su horario de apertura. Encontrar la página adecuada puede ser la diferencia entre una respuesta incorrecta y una que realmente ayude. Estas páginas pueden ser valiosas aunque pocos sitios más las enlacen.

En la versión anterior de la web, la visibilidad consistía en aparecer en los primeros puestos de una página de resultados de búsqueda. Dependía entonces de la persona que visitaba tu página determinar el valor de la información, reservar la mesa o solicitar el pasaporte. A medida que la gente confía cada vez más en la IA para encontrar información y realizar tareas, la visibilidad cobra importancia de nuevas formas. Los sistemas de IA deben encontrar las fuentes adecuadas, entender qué es útil y poner en contacto a la gente con información relevante, ya sea a través de una respuesta, una cita o una visita al propio sitio web.

La red de Cloudflare proporciona señales que pueden ayudar al rastreador de búsqueda de OpenAI a encontrar más páginas útiles en toda la web para que aparezcan ante los usuarios de ChatGPT. A continuación, OpenAI evalúa y clasifica de forma independiente cómo aparecen esas páginas en función de su relevancia y utilidad. Esta colaboración genera una retroalimentación que puede mejorar tanto la búsqueda de contenidos como la calidad de la información encontrada.

Este proyecto piloto conjunto, que utilizó una muestra de aproximadamente el 1 % del total de la red de Cloudflare, ha permitido a OpenAI encontrar e indexar cientos de millones de nuevas páginas web, lo que ayuda a la gente a encontrar contenido más útil y a obtener respuestas a más preguntas a través de ChatGPT. Mediante enlaces a fuentes relevantes, ChatGPT Search también ofrece a los usuarios una forma de explorar el contenido original y conocer los sitios web y los editores que hay detrás.

Con GPT-6 e Intelligent UI, OpenAI también está haciendo de ChatGPT un lugar aún mejor para comprar, aprender y encontrar respuestas, con experiencias más visuales e interactivas adaptadas a lo que la gente necesita. Este trabajo complementa estos avances, ya que ayuda a ChatGPT a encontrar información más útil y actualizada de toda la web.

De encontrar contenido relevante a obtener respuestas útiles

Encontrar una URL es solo el principio. Necesitamos saber si el enlace lleva a una página a la que alguien pueda acceder, si esa página ofrece algo diferente y en qué podría ayudarte.

Hemos aprendido, por ejemplo, lo fácil que es que el tráfico automatizado haga que una página inexistente parezca interesante. Los bots piden una y otra vez archivos que no están ahí. Algunos sitios redirigen casi cualquier dirección a su página de inicio. Otras direcciones llevan a copias del mismo contenido. Reconocer estos patrones nos brinda una forma de reducir el trabajo innecesario antes de que un rastreador obtenga la página, y de mejorar la eficiencia de una manera que beneficia a los propietarios de los sitios.

También estamos probando señales que identifican y marcan páginas potencialmente peligrosas, añadiendo otra capa de información para favorecer un descubrimiento más seguro y fiable. Un sitio web legítimo puede tener una única página comprometida, como un formulario de inicio de sesión falso insertado por un atacante. Marcar solo esa página, en lugar de todo el dominio, protege a los usuarios sin penalizar al propietario del sitio. Los primeros resultados sugieren que estas señales pueden ayudar a identificar las páginas que deberían excluirse de un índice.

El contenido ahora es más fácil de encontrar

A medida que más gente usa la IA para encontrar información, los propietarios de sitios web tienen nuevas oportunidades de llegar a un público interesado. Para aquellos que decidan poner su contenido a disposición de los sistemas de IA, estas mejoras hacen que el descubrimiento sea más fácil y eficiente.

Mantener el ritmo recabando cada página con más frecuencia resultaría caro para todos. Para el propietario de un sitio web, un rastreador que descarga repetidamente una página que no ha cambiado supone una carga adicional sin aportar ningún beneficio.

Las señales anteriores son la forma en que lo evitamos. El filtrado mantiene a los rastreadores alejados de las páginas que no existen o que redirigen a otro sitio. Las señales de cambio les indican cuándo merece la pena volver a visitar una página y cuándo no.

Hay que encontrar el equilibrio. Encontrar nuevas páginas puede aumentar inicialmente el rastreo, ya que esas páginas se evalúan e indexan. Nuestro objetivo es seguir encontrando contenido nuevo y mantener actualizada la información existente sin gastar recursos de más. Para los clientes de Cloudflare, esto significa menos carga innecesaria. Para OpenAI, esto significa que dedica más recursos de búsqueda a información que ayuda a la gente.

Que merezca la pena participar

La próxima fase se basará en lo que hemos aprendido: mejorar la selección de páginas, probar señales de cambio más rápidas y fiables, y medir lo que ocurre después de que se descubra el contenido.

Seguiremos colaborando estrechamente con OpenAI para entender cómo una mejor visibilidad de las páginas web puede contribuir a resultados empresariales concretos. Y seguiremos compartiendo nuestros nuevos hallazgos en el futuro.

Las decisiones de los propietarios de los dominios son importantes en todo momento. Una señal sobre una página no otorga permiso para acceder a ella. En este proyecto de investigación utilizamos metadatos de Internet para mejorar la búsqueda y la localización de contenidos. Sin embargo, los contenidos reales de las páginas web no se comparten para el entrenamiento de modelos de IA.

Puedes utilizar AI Crawl Control de Cloudflare para entender y gestionar cómo los sistemas de IA acceden a tu sitio web.