Visibilidad sin entrenamiento de la IA, las dos cosas son posibles

Sin los controles adecuados, los propietarios de sitios web se han enfrentado durante mucho tiempo a una difícil disyuntiva: permitir que su contenido se utilice para el entrenamiento de la IA o arriesgarse a perder visibilidad en los motores de búsqueda. Esa disyuntiva existe porque algunas de las organizaciones más grandes de Internet utilizan rastreadores de uso múltiple: un único rastreador que sirve tanto para la búsqueda como para el entrenamiento de la IA. Si rechazas uno, rechazas el otro.

Hoy, Cloudflare anuncia una nueva configuración, "No permitir el entrenamiento de IA" (Disallow AI Training), para que puedas seguir apareciendo en los resultados de búsqueda sin que ese mismo rastreador pueda entrenar con tu contenido. Apple, Google y Microsoft respetan o se han comprometido (en un plazo de tiempo especificado) a respetar esta configuración.

Los rastreadores de uso múltiple eran la parte más complicada de la cuestión del entrenamiento. Lo siguiente son los resúmenes de IA. Una opción de "sí" o "no" para todo el sitio web es demasiado tajante. La cantidad de contenido que aparece en un resumen importa tanto como el hecho de que aparezca o no. La opción de exclusión voluntaria para los resúmenes generados por IA ya es uno de los requisitos que hemos establecido para los operadores de rastreadores de uso múltiple. Para principios del año que viene, nuestro objetivo es permitirte controlar qué parte de tu contenido se incluye. Lo configurarás una sola vez en Cloudflare, en lugar de tener que hacerlo por separado con cada operador.

Por qué no basta con preguntar

La mayoría de los propietarios de sitios web quieren aparecer en los resultados de búsqueda de personas, agentes y bots (buenos). Pero una parte significativa de la red de Internet abierta se financia mediante publicidad, suscripciones o relaciones directas con los usuarios, y esos modelos solo generan ingresos cuando alguien llega realmente al sitio.

Casi todos los propietarios de sitios consideran beneficioso el uso de buscadores. Menos del 1 % de los sitios de Cloudflare optan por bloquear los bots de búsqueda. El entrenamiento, sin embargo, es otra historia. El 17 % de los sitios optan por habilitar algún mecanismo para bloquear el entrenamiento. Precisamente por eso decidimos que los propietarios de sitios web necesitaban controles más detallados, en lugar de una opción "Bloquear la IA" genérica para todos.

Una directiva robots.txt por sí sola no puede resolver este problema. Cualquiera puede publicar una, pero no puede identificar quién está rastreando, determinar por qué lo hace ni detener a un rastreador que la ignore.

Sin embargo, una red sí puede resolverlo. Publicamos la preferencia, identificamos quién está rastreando, clasificamos por qué lo hacen y bloqueamos a quienes la ignoran; a continuación, informamos en Radar de lo que cada operador hace realmente.

Pero el bloqueo solo elimina un rastreador. No cambia el comportamiento de los rastreadores. El mejor resultado es que los operadores no te obliguen a elegir en absoluto. Por eso, desde julio, hemos estado hablando directamente con ellos. La respuesta ha sido alentadora. Casi todos coinciden en que los propietarios de sitios web deben tener control y transparencia sobre cómo se utiliza su contenido, así como la garantía de que se respetarán sus decisiones. Para ayudar a los propietarios de sitios web a comprenderlo, hemos creado una designación: "Responsable".

La designación "Responsable" reconoce tanto las capacidades disponibles en la actualidad como los compromisos concretos para hacerlas realidad. Para obtenerla, un operador de bots debe cumplir o comprometerse a cumplir los siguientes requisitos:

1. Un mecanismo para que los propietarios de sitios web puedan excluirse del entrenamiento de la IA, a través de robots.txt o un estándar similar.
2. Un mecanismo para que los propietarios de sitios web puedan excluirse de los resúmenes generados por IA, acordado directamente con el operador y, a partir del año que viene, a través de Cloudflare (véase la sección siguiente para más detalles).
3. Visibilidad a nivel de URL sobre qué páginas se han puesto a disposición para el entrenamiento, junto con métricas que muestren cómo aparecía el contenido en las búsquedas.
4. Garantía de que excluirse del entrenamiento de la IA no afectará a los resultados de búsqueda tradicionales.

Apple, Google y Microsoft demuestran que cumplen los requisitos para ser Responsables. Cada una de ellas combina las capacidades disponibles en la actualidad con compromisos con plazos concretos para aquellas que aún se encuentran en fase de desarrollo. A continuación se detallan los rastreadores de cada una de estas empresas.

Nuevas opciones de configuración de seguridad

Cloudflare clasifica los bots según su comportamiento, y un mismo bot puede mostrar más de un comportamiento. Hay tres comportamientos disponibles como controles:

• Búsqueda: rastreo para crear un índice de búsqueda.
• Entrenamiento: rastreo para entrenar o ajustar un modelo.
• Agente: agentes dirigidos por el usuario que visitan una página en nombre de una persona, como los bots de chat y los agentes de uso del navegador.

Un rastreador de uso múltiple es un único rastreador que realiza tanto la búsqueda como el entrenamiento. Sin controles, esa combinación genera la disyuntiva descrita anteriormente: los propietarios de sitios web no pueden rechazar un uso sin rechazar el otro.

Para evitar bloquear los rastreadores de uso múltiple con la designación "Responsable", aquellos que no imponen esa disyuntiva a los propietarios de sitios web, presentamos una nueva configuración: "No permitir el entrenamiento de IA", que recibe su nombre de la directiva "Disallow:" que publica en tu archivo robots.txt.

La configuración "Bloquear" ahora tiene un significado diferente

Anteriormente, las opciones "Bloquear" y "Bloquear en páginas con anuncios" no se aplicaban a los rastreadores de uso múltiple, ya que bloquearlos también podía afectar a la visibilidad en la búsqueda. Ahora que contamos con la nueva configuración "No permitir el entrenamiento de IA", las opciones "Bloquear" y "Bloquear en páginas con anuncios" se aplican a todos los rastreadores de entrenamiento, incluidos los de uso múltiple.

Los controles de entrenamiento, búsqueda y agente se aplican a nivel de dominio. Con la incorporación de la opción "No permitir el entrenamiento de IA", las opciones disponibles son:

1. Permitir: se permiten todos los rastreadores, a menos que estén bloqueados por otra configuración o una regla de WAF.
2. No permitir el entrenamiento de IA: "Bot Preference Sync" publica la preferencia de no entrenamiento correspondiente en el archivo robots.txt. Se siguen permitiendo los rastreadores de uso múltiple con la designación "Responsable" para la búsqueda. Se bloquean todos los demás rastreadores de entrenamiento, incluidos los rastreadores destinados exclusivamente al entrenamiento que gestionan Amazon, Anthropic, Meta y OpenAI. El bloqueo de estos no afecta a la búsqueda. La opción "No permitir el entrenamiento de IA" solo está disponible como configuración para entrenamiento, no para búsqueda ni agente.
3. Bloquear en páginas con anuncios: los rastreadores, incluidos los de uso múltiple, solo se bloquean en las páginas en las que se detecta que se muestra un anuncio.
4. Bloquear: se bloquean todos los rastreadores, incluidos los de uso múltiple.

La opción "No permitir el entrenamiento de IA" funciona publicando una preferencia en robots.txt. No es posible expresar de esa forma una preferencia específica para páginas con anuncios. Cloudflare puede detectar qué páginas muestran anuncios, pero esa lista es demasiado extensa y cambia con demasiada frecuencia como para enumerarla en el archivo robots.txt. Por eso no existe la opción "No permitir el entrenamiento de IA" en páginas con anuncios.

Los agentes no plantean el mismo dilema entre búsqueda y visibilidad que los rastreadores de uso múltiple, y en Internet aún no existe una directiva bien establecida para expresar preferencias de "No permitir" a los agentes. Por ahora, no incluimos una configuración de "No permitir" para agentes. A medida que maduren estándares como ai-prefs, revisaremos este enfoque.

¿Qué cambia el 15 de septiembre?

Estamos realizando los siguientes cambios en Bot Management y AI Crawl Control:

1. Las opciones "Bloquear" y "Bloquear en páginas con anuncios" ahora se aplican a rastreadores de uso múltiple, incluidos Applebot, Bingbot y Googlebot, por lo que cualquiera de los ajustes impacta tanto en la búsqueda como en el entrenamiento. Para detener el entrenamiento y mantener la búsqueda, utiliza "No permitir el entrenamiento de IA".
2. La opción "Bloquear bots de IA" quedará obsoleta en favor de los controles más detallados de búsqueda, entrenamiento y agente.
3. La función "Managed robots.txt" será reemplazado por "Bot Preference Sync". Los clientes que habilitaron "Managed Robots.txt" migrarán al nuevo sistema.
4. La opción "No permitir el entrenamiento de IA" pasará a formar parte de la configuración recomendada para determinados dominios nuevos.
5. Las preferencias de los clientes actuales se migrarán a los nuevos controles tal y como se describe a continuación.

Qué debes hacer

Nada, en casi todos los casos. Tu configuración actual se mantendrá tal cual.

Si quieres que los rastreadores de uso múltiple desaparezcan por completo, ahora tienes que indicarlo. Selecciona "Bloquear". Esto impedirá que Applebot, Bingbot y Googlebot accedan a tu sitio web, búsqueda incluida.

Dominios existentes que nunca han utilizado los controles de búsqueda/entrenamiento/agente

A los propietarios de sitios que nunca hayan configurado los controles más detallados se les migrará a la nueva configuración basándose en su configuración anterior de "Bloquear bots de IA":

Dominios existentes que ya habían configurado los controles de búsqueda/entrenamiento/agente

Para los dominios que anteriormente configuraron los controles granulares, preservaremos el efecto práctico de sus selecciones bajo las nuevas definiciones. Las selecciones anteriores de entrenamiento, como "Bloquear" o "Bloquear en páginas con anuncios", se migrarán a "No permitir el entrenamiento de IA".

All

Recomendaciones para nuevos dominios

A partir del 15 de septiembre, a los clientes que den de alta un nuevo dominio se les ofrecerá una de dos configuraciones preestablecidas, dependiendo de si el sitio obtiene ingresos por publicidad. Los ingresos por publicidad dependen de que una persona vea realmente la página. El entrenamiento sustituye esa visita por una respuesta; los agentes obtienen la página sin que haya nadie allí para ver los anuncios. Por lo tanto, los ajustes preestablecidos para sitios con anuncios son más restrictivos. Puedes cambiar cualquiera de estas configuraciones durante la incorporación o en cualquier momento después.

Configuraciones recomendadas para nuevos dominios.

¿Qué significa esto para los rastreadores de uso múltiple específicos?

Applebot, Bingbot y Googlebot tienen la designación "Responsable". Apple, Google y Microsoft están comprometidos con los mismos principios de elección del creador de contenido y transparencia. Con la opción "No permitir el entrenamiento de IA" activada, pueden seguir rastreando tu sitio para la búsqueda. Si seleccionas "Bloquear", los detienes por completo.

También clasificamos con la designación "Responsable" a los rastreadores relevantes de Amazon, Anthropic, Meta y OpenAI. Estas organizaciones separan sus rastreadores de búsqueda y de entrenamiento, por lo que Cloudflare puede bloquear el rastreador de entrenamiento sin afectar a la búsqueda.

Applebot

Applebot permite a los propietarios de sitios web excluirse del entrenamiento añadiendo una regla "No permitir" en el archivo robots.txt para "Applebot-Extended". Los propietarios de sitios web también pueden, actualmente, expresar sus preferencias respecto a los resúmenes de IA a través de la directiva nosnippet en el código HTML de la página. El contenido también se puede etiquetar como contenido de pago para excluirlo de los resultados generativos. Applebot aún no ofrece una herramienta para la inspección a nivel de URL. Sin embargo, nos hemos reunido con su equipo y nos han contado detalles de la solución en la que están trabajando para el año que viene. Apple también ha afirmado que impedir el entrenamiento no afecta al posicionamiento en los resultados de búsqueda.

Googlebot

Googlebot permite a los propietarios de sitios web excluirse del entrenamiento añadiendo una regla "No permitir" en el archivo robots.txt para Google-Extended, y ofrecen una opción en su portal para webmasters que permite excluir el contenido de un sitio de los resultados de búsqueda generativa. Googlebot también proporciona a los propietarios de sitios web métricas e informes sobre los resultados de búsqueda y los resúmenes generados por IA. Google ha compartido información sobre sus controles actuales y los que acaba de anunciar, así como sobre lo que ya está desarrollando, incluidas herramientas adicionales de transparencia a nivel de URL para los propietarios de sitios web relacionadas con Google-Extended, que espera lanzar en las próximas semanas. Google también ha señalado que desactivar Google-Extended no afecta al posicionamiento en los resultados de búsqueda.

Bingbot

Bingbot ofrece controles granulares y transparencia en sus Herramientas para webmasters. Los propietarios de sitios web ya pueden indicar sus preferencias de entrenamiento de IA a través de la etiqueta meta NOARCHIVE de Bing. Microsoft está ampliando estas capacidades y, en estos momentos, está desarrollando el mecanismo para respetar también la preferencia de "no entrenamiento" en el archivo robots.txt a nivel de dominio o sitio web, con el objetivo de que esté listo a principios de 2027. Para los clientes de Cloudflare que deseen optar por no entrenar en Bing desde ya, además de usar la etiqueta NOARCHIVE, los propietarios de sitios pueden usar la herramienta de "Bloquear URL" o "Eliminación de contenido". Microsoft también ha afirmado que usar NOARCHIVE no afectará al posicionamiento en los resultados de búsqueda..

Hasta que se lance esa compatibilidad, seleccionar "No permitir el entrenamiento de IA" no comunicará automáticamente a Bing la preferencia de no participar en el entrenamiento a través del archivo robots.txt. Este comportamiento es idéntico al de la anterior configuración "Bloquear entrenamiento", que no se aplicaba a rastreadores de uso mixto como Bingbot.

Más avances

Continuaremos contactando y colaborando con todos los operadores de rastreadores de IA a medida que evolucionen estas capacidades. Cloudflare Radar realiza un seguimiento público de los controles, la transparencia y la información que proporcionan los operadores de rastreadores con la designación "Responsable" 

Mejorar Internet requiere que ambas partes tengan capacidad de decisión. Los rastreadores necesitan acceso a la web abierta, y las personas que crean esa web necesitan un control significativo sobre cómo se utiliza su trabajo. El anuncio de hoy supone un avance concreto hacia ese equilibrio.

Para seguir avanzando, es necesario que los proveedores de infraestructura, los creadores de contenido, las empresas tecnológicas y los organismos de normalización, como el Grupo de Trabajo de Ingeniería de Internet (IETF), trabajen juntos para convertir estos principios en estándares abiertos e interoperables.

Próximos pasos | Resúmenes de la IA

El entrenamiento y los resúmenes de IA plantean diferentes cuestiones a los propietarios de sitios web. El entrenamiento se refiere a si el contenido puede usarse para crear modelos de IA. Los resúmenes influyen en cómo la gente descubre, evalúa y, en última instancia, visita un sitio web. Ambos son importantes, pero afectan a las empresas de diferentes maneras.

Las opciones para desactivar los resúmenes generados por IA son el primer paso. Los operadores con la designación "Responsable" ya ofrecen esa función o están trabajando para ofrecerla, lo que establece un punto de referencia importante: los propietarios de sitios web pueden decir que no. Pero la opción de permitir o prohibir los resúmenes en todo el sitio sigue siendo una herramienta poco precisa.

Pero la opción de permitir o prohibir los resúmenes en todo el sitio sigue siendo un instrumento poco preciso. La decisión correcta depende del sitio web, del contenido y del resultado para el negocio. Para los creadores de contenido, el entrenamiento plantea cuestiones fundamentales sobre el control, la compensación y la sostenibilidad del contenido original. Los resúmenes plantean una cuestión de distribución aparte y, a menudo, más inmediata: ¿visita alguien el sitio del editor o se limita a consultar la respuesta en una búsqueda o en una experiencia de IA? Para muchas otras empresas, los resúmenes generados por IA se interponen cada vez más entre un cliente potencial y un sitio web. Pueden responder a una pregunta, comparar alternativas, recomendar un producto o ayudar a decidir si merece la pena visitar el sitio web.

Los datos muestran un impacto desigual. Más de la mitad de los usuarios leen resúmenes en la búsqueda, y esos usuarios tienen un 40 % más de probabilidades de dar por terminada su búsqueda tras leer uno. Esto puede reducir el número de visitas que recibe un sitio web. Pero los consumidores que llegan a través de la búsqueda con IA convierten entre tres veces y más de cinco veces la tasa de los que llegan por la búsqueda tradicional. La IA puede generar menos visitas, pero atrae a clientes con una intención de compra mucho mayor.

Eso no es ni bueno ni malo. Un creador de contenido que se financia con publicidad puede optar por maximizar el volumen de audiencia. Un minorista puede preferir menos visitantes que tengan más probabilidades de comprar. El papel de Cloudflare no es elegir por ellos, sino proporcionar la visibilidad y el control necesarios para tomar una decisión informada.

Las opciones de exclusión de los resúmenes son un buen comienzo, pero no son el objetivo final. Nuestro siguiente paso es ayudar a los propietarios de sitios web a entender cómo afectan los resúmenes a sus negocios y darles más control sobre qué parte de su contenido se puede usar. Los estándares abiertos, como ai-prefs, serán una parte importante para hacerlo posible.

Si quieres dar tu opinión en este debate o enviarnos tus comentarios, escribe a crawlercontrols@cloudflare.com.

Estos nuevos controles están disponibles para todos los clientes, en todos los planes, y se pueden configurar en los ajustes de seguridad del dominio (zona). ¿Aún no eres cliente de Cloudflare? Empieza gratis hoy mismo para configurar los controles de tráfico que quieras.