El anuncio de Cloudflare de julio de 2026 no es solo otra discusión entre editores y scrapers. Es un intento de convertir el acceso automatizado a la web en una capa de política: reglas para indexación de búsqueda, reglas para agentes que actúan por el usuario y reglas para entrenamiento de modelos.

Pasarela de red en el borde clasificando tráfico de búsqueda, agentes y entrenamiento mediante políticas

La distinción importa porque el viejo pacto de la web se está rompiendo. Durante años, un crawler leía una página porque el buscador devolvía usuarios. El sitio obtenía visibilidad, visitas, anuncios, suscripciones o marca. Los motores de respuesta con IA y los agentes de navegador cambian ese intercambio: pueden leer la página, extraer la respuesta, completar una tarea y no llevar nunca al humano a la fuente.

La respuesta de Cloudflare no es simplemente “bloquear IA”. En su publicación del 1 de julio, la empresa separa usos de IA en Search, Agent y Training. Search recopila o indexa contenido para responder más tarde. Agent actúa, a menudo en tiempo real, en nombre de una persona. Training toma contenido para entrenar o ajustar modelos. Desde el 15 de septiembre de 2026, Cloudflare dice que nuevos clientes y nuevos sitios permitirán Search por defecto, pero bloquearán Training y Agent en páginas que muestran anuncios. La nota de prensa también incluye a clientes gratuitos existentes que no cambien la configuración antes de esa fecha. La configuración se puede modificar.

La consecuencia práctica es clara: ya no basta con saber qué bot es. Hay que saber para qué vino.

El pacto anterior

La web pública funcionaba con un compromiso imperfecto pero comprensible. Los sitios publicaban, los crawlers indexaban, los buscadores clasificaban y los usuarios hacían clic. Un editor podía pelearse con snippets, SEO o scraping, pero entendía por qué aparecer en buscadores importaba.

AI search y agentic browsing complican ese contrato. Un resultado de búsqueda tradicional es una puerta. Una respuesta de IA puede ser el destino. Un agente puede leer varias páginas, comparar precios, resumir documentación o rellenar un formulario sin que el usuario visite cada fuente. Eso puede ser excelente para el usuario y perjudicial para el sitio que financió el contenido.

Los datos de Pew Research Center sobre Google ayudan a explicar el nerviosismo. En su panel estadounidense de 2025, los usuarios hicieron clic en resultados tradicionales en el 8% de las visitas cuando había resumen de IA, frente al 15% sin resumen. Los enlaces dentro del resumen recibieron clics en solo el 1% de las visitas. No es una ley universal, pero muestra el problema: la respuesta puede sustituir la visita.

Cloudflare está cerca del punto de presión. La empresa afirma que más del 20% de la web está detrás de su red. No significa que controle internet, pero sí que muchas peticiones pasan por una capa edge donde se puede aplicar política antes de que el servidor de origen vea el bot.

Search, Agent y Training

Search es la categoría más fácil de aceptar. El crawler indexa contenido y, si el sistema funciona bien, devuelve descubrimiento. Cloudflare dice que Search debería enviar tráfico de referencia o apoyar una compensación justa. Eso deja espacio para búsqueda clásica, búsqueda con IA y modelos de pago.

Agent es más incómodo. Cloudflare lo describe como automatización que actúa por una persona, a menudo en tiempo real. Puede ser un bot de chat que obtiene una página o un agente que controla Chrome. Si un usuario pide a un agente comparar proveedores SaaS o leer una página de soporte, la intención es humana. Pero para el sitio puede parecer un bot que consume la página sin impresión publicitaria, sesión analítica ni compra.

Training es la categoría que muchos editores quieren controlar con más claridad. No es una respuesta puntual ni una tarea de usuario. Es contenido usado para entrenar o ajustar un modelo. Muchos propietarios aceptan ser indexados; no necesariamente aceptan que sus archivos sean material gratuito de entrenamiento.

La clasificación fuerza además a las empresas de IA a separar crawlers. Cloudflare advierte que los crawlers de uso mixto pueden recibir la regla más restrictiva. Si un mismo crawler sirve para búsqueda y entrenamiento, un sitio que bloquee Training puede bloquearlo entero. Para los equipos de infraestructura, el user-agent deja de ser suficiente.

El cambio de septiembre es limitado, pero importante

No conviene exagerar. Cloudflare no dice que bloqueará todos los bots de IA en todos los sitios. El default se aplica a páginas que muestran anuncios. Search queda permitido. Los clientes pueden cambiar la configuración. Según Cloudflare, TechCrunch y Engadget, el cambio afecta a nuevos clientes, nuevos sitios de clientes existentes y clientes gratuitos existentes que no ajusten sus opciones.

La lógica de los anuncios es económica. Un anuncio indica que el sitio esperaba atención humana monetizable. Si un agente lee y contesta fuera del sitio, esa atención puede desaparecer. Bloquear Agent y Training en páginas con anuncios es una forma de proteger esa intención sin cortar la búsqueda.

La duda técnica es cómo se determinará que una página “muestra anuncios”. Los materiales públicos no dan una especificación completa de detección, excepciones o falsos positivos. Y la monetización no siempre es un banner: hay afiliación, patrocinios, paywalls, páginas de producto y documentación que vende indirectamente un servicio.

Para clientes de Cloudflare, el paso urgente es revisar el panel antes de septiembre. Un sitio de documentación, un medio y una página de marketing no necesitan la misma política.

De Pay Per Crawl a Pay Per Use

El Pay Per Crawl de 2025 fue un experimento tosco pero significativo. Un sitio podía permitir un crawler, bloquearlo o exigir pago. Si pedía pago, el crawler recibía HTTP 402 Payment Required con un precio y podía reintentar con disposición a pagar. Cloudflare actuaba como Merchant of Record y usaba Web Bot Auth para verificar identidad.

El uso de HTTP 402 es llamativo. MDN recuerda que los navegadores no tienen un flujo estándar para 402 y lo tratan como error 4xx genérico. Cloudflare no está creando un paywall de navegador, sino una negociación máquina a máquina para crawlers.

Pero cobrar por crawl es un proxy imperfecto. Una página que nadie usa en una respuesta no vale lo mismo que un fragmento que se convierte en la fuente central de una consulta valiosa. Por eso Cloudflare habla ahora de Pay Per Use. Los ejemplos públicos son Ceramic.ai y You.com. Ceramic se describe como pay-per-query: el editor cobra cuando su contenido aparece en resultados de búsqueda con IA y recibe informes de consultas, snippets y ranking. You.com se presenta como un caso donde agentes pagan bajo demanda por contenido premium.

No es todavía un mercado maduro. Es una señal de dirección: el debate pasa de “puedo obtener esta URL” a “qué valor creó este contenido y quién cobra”.

La identidad del bot se vuelve infraestructura

Robots.txt sigue importando, pero no basta. RFC 9309 estandariza Robots Exclusion Protocol, una forma conocida de publicar reglas para crawlers. El problema es que es voluntario. No autentica y no impide que alguien ignore reglas o falsifique un user-agent.

Cloudflare Content Signals Policy añade preferencias legibles por máquinas: search, ai-input y ai-train. Sirven para expresar intención, no para imponerla por sí solas. Se vuelven más fuertes cuando se combinan con controles edge, WAF, bot management y acuerdos comerciales.

Web Bot Auth es la pieza dura. Cloudflare pide crawlers que firmen peticiones mediante HTTP Message Signatures e identidades Ed25519. Un crawler registrado prueba quién es; Cloudflare clasifica y aplica política. La idea central es que la identidad de bots deja de ser cortesía y pasa a ser criptografía.

Para desarrolladores de crawlers, el nuevo mínimo incluye separar usos, firmar peticiones, publicar metadatos de identidad, respetar señales, manejar pagos y evitar pipelines opacos que mezclen búsqueda, agentes y entrenamiento.

Ganancias y riesgos

Los editores ganan palanca. Un sitio pequeño no puede negociar con cada empresa de IA. Un proveedor edge con controles para Search, Agent y Training da una consola práctica: seguir visible, rechazar entrenamiento, probar acceso pagado o bloquear automatización no firmada.

El riesgo es una web más fragmentada. Si cada plataforma define sus categorías, cabeceras de pago, señales de licencia y excepciones, los grandes negociarán y los pequeños quedarán atrapados. Herramientas de investigación, accesibilidad, búsqueda independiente o agentes personales útiles pueden sufrir reglas pensadas para extracción industrial.

También está el problema del gatekeeper. Cloudflare resuelve una necesidad real, pero clasifica intención. Si decide que un bot es Training y no Search, el acceso cambia. Los clientes Enterprise tendrán más visibilidad en BotBase; los gratuitos pueden recibir defaults potentes con menos contexto. Falsos positivos y apelaciones serán importantes.

SEO, agentes e infraestructura

Para SEO, el viejo binario index/noindex se convierte en una matriz. ¿Debe una answer engine usar el contenido? ¿Debe citarlo? ¿Debe pagar? ¿Debe un agente en tiempo real tener reglas distintas de un crawler de índice? El ejemplo de Ceramic apunta a métricas nuevas: consultas, snippets, posición en resultados de IA y valor de licencia.

Para agentes de IA, el mensaje es directo: mostrar propósito. Si un producto tiene indexación, retrieval en tiempo real, navegación por cuenta del usuario y entrenamiento, no debería hacerlo todo con una identidad ambigua. Los logs, headers y firmas deben separar funciones. Los equipos de producto deben presupuestar acceso pagado cuando el contenido sea crítico.

Para infraestructura, la lista empieza por inventario: zonas en Cloudflare, páginas con anuncios, documentación, marketing, soporte, pricing, datos de producto y contenido detrás de login. Después revisar AI traffic settings, Bot Management, WAF, verified bots, robots.txt, Content Signals, sitemaps y logs. Y mirar dependencias propias: si el producto hace scraping, enriquecimiento de datos o browsing agentic, puede chocar con estas reglas.

Una web más programable y más contractual

El cambio principal no es un botón de Cloudflare. Es que la web adquiere formas más legibles por máquinas para decir: search puede indexar, AI input puede usar, training no, agents quizá paguen, crawlers firmados reciben otro trato.

Eso puede proteger creadores y editores. También puede endurecer la web como un mosaico de reglas privadas. El resultado dependerá de transparencia, estándares abiertos, precios razonables, defaults justos y caminos de apelación.

El anuncio de Cloudflare es una vista previa: los agentes de IA no vivirán solo por capacidad del modelo. Vivirán por reglas de acceso en el borde de la web. La ventaja competitiva puede no ser una ventana de contexto más grande, sino saber qué puertas puede abrir el agente, qué debe firmar y cuándo tiene que pagar.