Ogłoszenie Cloudflare z lipca 2026 r. to coś więcej niż kolejny spór wydawców ze scraperami. Firma próbuje zamienić automatyczny dostęp do sieci w warstwę polityk: inne reguły dla wyszukiwania, inne dla agentów działających w imieniu użytkownika i inne dla trenowania modeli.

Bramka edge sortuje ruch botów wyszukiwania, agentów i treningu przez reguły dostępu

To ważne, bo stara umowa internetu pęka. Przez lata crawler czytał stronę, bo wyszukiwarka odsyłała ludzi z powrotem. Serwis dostawał widoczność, kliknięcia, reklamy, subskrypcje albo markę. Silniki odpowiedzi AI i agenci przeglądarkowi zmieniają wymianę: mogą przeczytać stronę, wyjąć odpowiedź, wykonać zadanie i nie wysłać człowieka do źródła.

Cloudflare nie mówi po prostu “blokuj AI”. W poście z 1 lipca firma wyróżnia Search, Agent i Training. Search zbiera lub indeksuje treści. Agent działa, często w czasie rzeczywistym, w imieniu osoby. Training bierze treści do trenowania lub dostrajania modeli. Od 15 września 2026 nowi klienci i nowe strony mają domyślnie pozwalać na Search, ale blokować Training i Agent na stronach wyświetlających reklamy. Komunikat prasowy obejmuje też obecnych klientów darmowych, którzy nie zmienią ustawień. Ustawienia można modyfikować.

Praktyczne pytanie brzmi więc nie tylko “co to za bot?”, ale “po co przyszedł?”.

Stara umowa

Publiczny web działał na czytelnym kompromisie. Strony publikowały, crawlery indeksowały, wyszukiwarki rankingowały, użytkownicy klikali. System był niedoskonały, ale zrozumiały.

AI search i agentic browsing komplikują układ. Klasyczny wynik wyszukiwania jest drzwiami. Odpowiedź AI może być celem. Agent może przeczytać kilka stron, porównać ceny, streścić dokumentację albo wypełnić formularz bez wizyty użytkownika w źródłach. Dla użytkownika to wygodne. Dla strony może oznaczać utratę uwagi, która finansowała treść.

Pew Research Center pokazało sygnał tej zmiany. W panelu Google z 2025 r. w USA użytkownicy klikali tradycyjne wyniki w 8% wizyt z podsumowaniem AI i w 15% bez podsumowania. Linki wewnątrz podsumowania dostawały tylko 1% kliknięć. To nie uniwersalne prawo, ale dobry opis napięcia.

Cloudflare jest blisko punktu kontroli. Firma mówi, że ponad 20% webu znajduje się za jej siecią. To nie znaczy kontrola internetu, ale wiele żądań przechodzi przez edge, gdzie politykę można zastosować przed serwerem źródłowym.

Search, Agent, Training

Search jest najłatwiejszy do obrony. Crawler indeksuje i ma dawać odkrywalność. Cloudflare pisze, że Search powinien dostarczać ruch referencyjny albo uczciwą kompensację.

Agent jest trudniejszy. To automatyzacja działająca za człowieka: bot czatu pobierający stronę, agent sterujący Chrome, system wykonujący zadanie. Intencja może być ludzka, ale dla strony wygląda jak bot konsumujący treść bez reklamy, sesji analitycznej czy normalnej ścieżki zakupu.

Training to kategoria, którą wydawcy chcą kontrolować najostrzej. Nie chodzi o pojedynczą odpowiedź ani zadanie użytkownika, lecz o materiał do ulepszania modelu. Wiele stron akceptuje indeksowanie, ale nie darmowe trenowanie na archiwach.

Taksonomia zmusza firmy AI do rozdzielenia crawlerów. Cloudflare ostrzega, że crawlery mieszane mogą dostać najbardziej restrykcyjną regułę. Jeśli jeden crawler robi search i training, strona blokująca Training może zablokować całość. Dla infrastruktury sam user-agent przestaje wystarczać.

Wrześniowy default

Nie należy przesadzać: Cloudflare nie blokuje wszystkich botów AI wszędzie. Default dotyczy stron z reklamami. Search zostaje dozwolony. Klienci mogą zmieniać ustawienia. Zweryfikowany zakres to nowi klienci, nowe strony istniejących klientów i obecni free customers bez zmian konfiguracji.

Reklama jest sygnałem monetyzacji ludzkiej uwagi. Jeśli agent czyta i odpowiada gdzie indziej, ta uwaga znika. Blokada Agent i Training na stronach z reklamami ma chronić ten model, nie odcinać wyszukiwania.

Nadal nie wiadomo publicznie, jak dokładnie Cloudflare wykryje, że strona pokazuje reklamy. Materiały nie dają pełnej specyfikacji, override ani false positives. A monetyzacja to nie tylko baner: afiliacja, sponsoring, paywall, produkt i dokumentacja też mają wartość.

Dla klientów Cloudflare najważniejszy jest audyt panelu przed wrześniem. Dokumentacja, media i marketing nie potrzebują tej samej polityki.

Od Pay Per Crawl do Pay Per Use

Pay Per Crawl z 2025 r. był prostym, ale ważnym eksperymentem. Strona mogła pozwolić crawlerowi, zablokować go albo zażądać płatności. Przy płatności crawler dostawał HTTP 402 Payment Required z ceną i mógł ponowić żądanie z gotowością zapłaty. Cloudflare był Merchant of Record i używał Web Bot Auth do weryfikacji tożsamości.

HTTP 402 jest symboliczne. MDN przypomina, że przeglądarki nie mają standardowego przepływu dla 402 i traktują go jak zwykły błąd 4xx. Cloudflare nie tworzy paywalla dla ludzi, tylko negocjację machine-to-machine.

Cena za crawl jest jednak słabym przybliżeniem. Strona, której nikt nie użył w odpowiedzi, nie ma tej samej wartości co fragment będący głównym źródłem ważnej odpowiedzi. Dlatego Cloudflare mówi o Pay Per Use. Publiczne przykłady to Ceramic.ai i You.com. Ceramic ma model pay-per-query: wydawca zarabia, gdy jego treść pojawia się w wynikach AI, z raportami o queries, snippets i ranking. You.com pokazuje agentów płacących za premium content na żądanie.

To nie jest jeszcze dojrzały rynek. To kierunek.

Tożsamość bota jako infrastruktura

Robots.txt nadal ma znaczenie, ale nie wystarcza. RFC 9309 standaryzuje Robots Exclusion Protocol, lecz nie robi z niego zabezpieczenia ani uwierzytelnienia. Zły aktor może go zignorować albo podszyć się pod user-agent.

Cloudflare Content Signals Policy dodaje preferencje czytelne dla maszyn: search, ai-input, ai-train i pole use. To sygnały intencji, nie blokada sama w sobie. Twarde stają się dopiero z edge controls, WAF, bot management i umowami.

Web Bot Auth daje weryfikację. Crawlery podpisują żądania przez HTTP Message Signatures i tożsamości Ed25519. Cloudflare rozpoznaje, klasyfikuje, pozwala, blokuje albo nalicza płatność. Tożsamość botów staje się kryptografią.

Deweloperzy crawlerów muszą rozdzielać cele, podpisywać żądania, publikować metadane, respektować sygnały i nie mieszać search, agent i training w jednej nieprzejrzystej rurze.

Zyski i ryzyka

Wydawcy zyskują dźwignię. Mała strona nie negocjuje z każdą firmą AI. Przełączniki Search, Agent i Training pozwalają zostać widocznym, odmówić trenowania, testować płatny dostęp albo blokować niepodpisaną automatyzację.

Ryzykiem jest fragmentacja. Jeśli każda platforma edge i każdy sprzedawca AI stworzy własne klasy, nagłówki płatności i wyjątki, duzi się dogadają, a mali utkną. Narzędzia badawcze, accessibility, niezależne wyszukiwarki i osobiste agenty mogą oberwać zasadami pisanymi przeciw przemysłowej ekstrakcji.

Jest też problem gatekeepera. Cloudflare rozwiązuje realny problem, ale klasyfikuje intencje. Błędne uznanie bota za Training zamiast Search może zmienić dostęp do dużej części webu. Liczyć się będą przejrzystość, odwołania i false positives.

SEO, agenci i infrastruktura

Dla SEO index/noindex zmienia się w macierz. Czy answer engine może użyć treści? Czy ma cytować albo płacić? Czy agent czasu rzeczywistego ma inne prawa niż crawler indeksujący? Raporty Ceramic przypominają analizę licencji równie mocno jak rank tracking.

Dla agentów AI komunikat jest prosty: pokaż cel. Indeksowanie, real-time retrieval, browsing w imieniu użytkownika i training nie powinny mieć jednej tożsamości. Logi, headers i signatures muszą rozdzielać funkcje. Product teams powinny planować płatny dostęp tam, gdzie treść jest krytyczna.

Dla infrastruktury początek to inwentaryzacja: strefy Cloudflare, strony z reklamami, dokumentacja, marketing, support, pricing, dane produktu. Potem AI traffic settings, Bot Management, WAF, verified bots, robots.txt, Content Signals, sitemaps i logs. Na końcu własne zależności: scraping, enrichment, agenci czytający web w czasie rzeczywistym.

Web bardziej programowalny i bardziej kontraktowy

Największa zmiana to nie jeden przełącznik Cloudflare. Web dostaje maszynowo czytelne reguły: Search może indeksować, AI input może używać, Training nie, Agents być może płacą, podpisane crawlery dostają inne traktowanie.

To może chronić twórców i wydawców. Może też zamienić web w mozaikę prywatnych zasad. Wynik zależy od przejrzystości, otwartych standardów, rozsądnych cen, uczciwych defaultów i drogi odwołania.

Ogłoszenie Cloudflare jest zapowiedzią: agenci AI nie będą żyć wyłącznie mocą modeli. Będą żyć regułami dostępu na brzegu webu. Przewagą może być nie większe okno kontekstu, lecz wiedza, które drzwi agent może otworzyć, co musi podpisać i kiedy musi zapłacić.