Cloudflares KI-Traffic-Ankündigung vom Juli 2026 ist mehr als ein weiterer Streit zwischen Verlagen und Scrapern. Das Unternehmen versucht, automatisierten Webzugriff in eine Zweck-Policy zu verwandeln: Regeln für Suche, Regeln für Agenten im Auftrag von Nutzern und Regeln für Modelltraining.

Edge-Gateway sortiert Such-, Agenten- und Trainings-Bot-Traffic nach Zugriffsregeln

Das ist wichtig, weil der alte Web-Handel bricht. Jahrzehntelang las ein Crawler eine Seite, weil die Suchmaschine Menschen zurückbrachte. Die Website bekam Auffindbarkeit, Klicks, Werbung, Abos oder Markenwirkung. KI-Antwortmaschinen und Browser-Agenten verändern den Tausch: Sie können lesen, extrahieren, eine Aufgabe erledigen und den Menschen nie zur Quelle schicken.

Cloudflares Antwort ist nicht einfach “KI blockieren”. Im Beitrag vom 1. Juli unterscheidet das Unternehmen Search, Agent und Training. Search sammelt oder indexiert Inhalte. Agent handelt oft in Echtzeit für eine Person. Training nutzt Inhalte zum Trainieren oder Fine-Tuning von Modellen. Ab 15. September 2026 sollen neue Kunden und neue Sites Search standardmäßig erlauben, aber Training und Agent auf Seiten mit Werbung blockieren. Die Pressemitteilung schließt bestehende Free-Kunden ein, die ihre Einstellungen bis dahin nicht ändern. Die Optionen bleiben anpassbar.

Die praktische Frage lautet also nicht mehr nur: welcher Bot ist das? Sondern: wofür ist er hier?

Der alte Vertrag

Das öffentliche Web beruhte auf einem groben Kompromiss. Sites veröffentlichten, Crawler indexierten, Suchmaschinen rankten, Nutzer klickten. Nicht perfekt, aber verständlich.

KI-Suche und agentisches Browsing verändern das. Ein Suchtreffer ist eine Tür. Eine KI-Antwort kann das Ziel sein. Ein Agent kann Dokumentation lesen, Preise vergleichen oder ein Formular ausfüllen, ohne dass der Nutzer jede Quelle besucht. Für den Nutzer nützlich, für die finanzierende Website problematisch.

Pew Research Center zeigte 2025 das Signal: In einem US-Google-Panel klickten Nutzer bei KI-Zusammenfassung in 8% der Besuche auf klassische Ergebnisse, ohne Zusammenfassung in 15%. Links innerhalb der Zusammenfassung erhielten nur 1% Klicks. Das ist keine universelle Regel, aber ein klares Warnzeichen.

Cloudflare sitzt nahe am Hebel. Das Unternehmen sagt, mehr als 20% des Webs lägen hinter seinem Netzwerk. Das heißt nicht Kontrolle über das Internet, aber viele Anfragen passieren eine Edge-Schicht, bevor der Origin-Server den Bot sieht.

Search, Agent, Training

Search ist am leichtesten zu rechtfertigen. Der Crawler indexiert und bringt im besten Fall Auffindbarkeit. Cloudflare sagt, Search solle Referral-Traffic oder faire Kompensation liefern.

Agent ist schwieriger. Gemeint ist Automatisierung im Auftrag eines Menschen: Chat-Fetch-Bots, Browser-Agenten, Systeme, die Chrome steuern. Die Absicht kann menschlich sein, aber für die Site sieht es wie ein Bot aus, der Inhalte ohne Werbeeinblendung, Analytics-Sitzung oder normalen Kaufpfad konsumiert.

Training ist die Kategorie, die viele Publisher am klarsten beschränken wollen. Es ist keine einzelne Antwort und keine Nutzeraufgabe, sondern Material für Modellverbesserung. Viele Sites akzeptieren Indexierung, aber nicht kostenloses Training auf ihren Archiven.

Die Taxonomie zwingt KI-Firmen zur Trennung. Cloudflare warnt vor gemischten Crawlern und will die restriktivste Regel anwenden. Ein Crawler für Suche und Training kann also blockiert werden, wenn eine Site Training sperrt. Für Infrastrukturteams reicht ein vager User-Agent nicht mehr.

Der September-Default

Übertreibung wäre falsch: Cloudflare blockiert nicht alle KI-Bots überall. Der Default betrifft Seiten mit Werbung. Search bleibt erlaubt. Kunden können ändern. Der verifizierte Umfang: neue Kunden, neue Sites bestehender Kunden und bestehende Free-Kunden ohne Anpassung.

Werbung dient als Signal monetarisierter menschlicher Aufmerksamkeit. Wenn ein Agent liest und anderswo antwortet, verschwindet diese Aufmerksamkeit. Agent und Training auf Werbeseiten zu blockieren, schützt diese Absicht, ohne Search abzuschneiden.

Offen bleibt, wie Cloudflare technisch erkennt, dass eine Seite Werbung zeigt. Öffentliche Materialien erklären die Policy, aber nicht die vollständige Erkennung, Overrides oder Fehlerbehandlung. Monetarisierung ist mehr als Banner: Affiliate, Sponsoring, Paywall, Produktseite und Dokumentation verkaufen ebenfalls.

Cloudflare-Kunden sollten daher vor September Einstellungen und Seitentypen prüfen. Dokumentation, Nachrichten und Marketing brauchen nicht dieselbe Policy.

Von Pay Per Crawl zu Pay Per Use

Pay Per Crawl 2025 war ein grober, aber wichtiger Versuch. Eine Site konnte einen Crawler erlauben, blockieren oder Zahlung verlangen. Bei Zahlung kam HTTP 402 Payment Required mit Preis, danach konnte der Crawler mit Zahlungsbereitschaft erneut anfragen. Cloudflare war Merchant of Record und nutzte Web Bot Auth zur Identitätsprüfung.

HTTP 402 ist symbolisch. MDN weist darauf hin, dass Browser keinen Standardfluss dafür haben und es als gewöhnlichen 4xx-Fehler behandeln. Cloudflare baut keinen Browser-Paywall-Standard, sondern Machine-to-Machine-Zahlung.

Ein Preis pro Crawl ist aber ungenau. Eine nie genutzte Seite ist nicht so wertvoll wie ein Absatz, der eine hochwertige Antwort stützt. Deshalb spricht Cloudflare 2026 von Pay Per Use. Die öffentlichen Beispiele sind Ceramic.ai und You.com. Ceramic wird als Pay-per-Query-Modell beschrieben: Publisher werden bezahlt, wenn ihr Content in KI-Suchergebnissen erscheint, inklusive Reporting zu Queries, Snippets und Ranking. You.com steht für Agenten, die Premium-Content bei Bedarf bezahlen.

Das ist noch kein reifer Markt, aber die Richtung ist klar.

Bot-Identität wird Infrastruktur

Robots.txt bleibt wichtig, reicht aber nicht. RFC 9309 standardisiert das Robots Exclusion Protocol, macht es aber nicht zu Authentifizierung oder Zugriffsschutz. Jeder kann Regeln ignorieren oder User-Agents fälschen.

Cloudflares Content Signals Policy ergänzt maschinenlesbare Präferenzen wie search, ai-input und ai-train. Sie drücken Absicht aus, erzwingen sie aber nicht allein. Erst mit Edge Controls, WAF, Bot Management und Verträgen werden sie hart.

Web Bot Auth liefert die prüfbare Identität. Crawler signieren Anfragen mit HTTP Message Signatures und Ed25519-Identitäten. Cloudflare kann erkennen, klassifizieren, erlauben, blockieren oder abrechnen. Bot-Identität wird kryptografisch.

Für Entwickler heißt das: Zwecke trennen, Anfragen signieren, Identitätsdaten veröffentlichen, Signale respektieren, Zahlungs- oder Ablehnungsflüsse behandeln und Suche, Agenten und Training nicht in einer undurchsichtigen Pipeline mischen.

Chancen und Risiken

Publisher gewinnen Hebel. Eine kleine Site kann nicht mit jeder KI-Firma verhandeln. Search-, Agent- und Training-Schalter erlauben Sichtbarkeit, Training-Ausschluss, bezahlten Zugriff oder Blockade unsignierter Automation.

Das Risiko ist Fragmentierung. Wenn jede Edge-Plattform eigene Klassen, Zahlungsheader, Lizenzsignale und Ausnahmen definiert, verhandeln die Großen und die Kleinen kämpfen. Forschungswerkzeuge, Barrierefreiheitssoftware, unabhängige Suche und persönliche Agenten könnten unter Regeln leiden, die gegen industrielle Extraktion gebaut wurden.

Dazu kommt Gatekeeper-Macht. Cloudflare löst ein echtes Problem, klassifiziert aber Absicht. Eine falsche Einordnung als Training statt Search kann Zugang verändern. Transparenz, Einspruch und Fehlerraten werden wichtig.

SEO, Agenten und Infrastruktur

Für SEO wird index/noindex zur Matrix. Darf eine Antwortmaschine Inhalte nutzen? Muss sie zitieren oder zahlen? Wird ein Echtzeit-Agent anders behandelt als ein Index-Crawler? Ceramic-artiges Reporting klingt mehr nach Lizenzanalyse als nach klassischem Rank Tracking.

KI-Agenten müssen ihren Zweck sichtbar machen. Indexierung, Echtzeit-Retrieval, Nutzer-Browsing und Training sollten nicht dieselbe Identität nutzen. Logs, Header und Signaturen müssen Funktionen trennen. Produktteams müssen bezahlten Zugriff einplanen, wenn Inhalte geschäftskritisch sind.

Infrastrukturteams sollten inventarisieren: Cloudflare-Zonen, Werbeseiten, Dokumentation, Marketing, Support, Pricing, Produktdaten. Dann AI Traffic Settings, Bot Management, WAF, Verified Bots, robots.txt, Content Signals, Sitemaps und Logs prüfen. Schließlich die eigene Abhängigkeit von Scraping, Datenanreicherung oder Agent-Browsing untersuchen.

Ein programmierbareres, vertraglicheres Web

Der eigentliche Wandel ist nicht ein Cloudflare-Schalter. Das Web bekommt maschinenlesbare Regeln: Search darf indexieren, AI input darf nutzen, Training nicht, Agents müssen vielleicht zahlen, signierte Crawler werden anders behandelt.

Das kann Urheber und Publisher schützen. Es kann das Web aber auch in private Regelinseln zerlegen. Entscheidend werden Transparenz, offene Standards, faire Defaults, vernünftige Preise und Einspruchswege.

Cloudflares Ankündigung ist eine Vorschau: KI-Agenten leben nicht nur von Modellstärke. Sie leben von Zugriffsregeln am Rand des Webs. Der nächste Vorteil ist vielleicht nicht das größere Kontextfenster, sondern zu wissen, welche Türen der Agent öffnen darf, was er signieren muss und wann er bezahlt.