Blokada botów AI w Cloudflare może odciąć Googlebota
3 min czytaniaSprawa wypłynęła na forum r/SEO, gdzie jeden z użytkowników testował nową funkcję Cloudflare o nazwie AI Crawlers & Scrapers (Roboty i Skrobaki AI). Opisał prostą zależność: przy ustawieniu blokady trenowania AI jego mapa strony zwracała Googlebotowi i Bingbotowi błąd 403, a po wyłączeniu tej blokady plik znów był dostępny.
W dalszej części wątku pojawiło się pytanie, czy Cloudflare nie blokuje po prostu fałszywych botów podszywających się pod Googlebota. Autor zgłoszenia odpowiedział, że nie — powołał się na to, co pokazuje sam panel Cloudflare, gdzie w sekcji AI Crawlers Googlebot i Bingbot były oznaczone jako automatycznie zablokowane. Dodał też, że włączenie trybu Bot Fight Mode (Tryb Walki z Botami) skutkowało błędem 403 przy przesyłaniu mapy strony.
Kluczowy jest jednak oficjalny komunikat Cloudflare. Firma zapowiedziała, że 15 września 2026 roku wprowadzi nowe domyślne ustawienia dla nowych domen: boty sklasyfikowane jako Training (trenowanie) lub Agent (agent) będą blokowane na stronach wyświetlających reklamy, a boty z kategorii Search (wyszukiwanie) pozostaną dozwolone. Osobno zaznaczono, że roboty o mieszanym przeznaczeniu, łączące wyszukiwanie z trenowaniem, będą blokowane przez wszystkie konfiguracje blokujące trenowanie AI — w tym przez starą opcję „Block AI bots” (Blokuj boty AI). Do 15 września klienci mogą zrezygnować z tych nowych ustawień domyślnych.
Zgłoszenie z Reddita jest pojedynczą relacją i nie wiadomo, czy to błąd konfiguracji po stronie użytkownika, czy przedwczesne działanie mechanizmu. Nie zmienia to faktu, że zapowiedziana zmiana jest realna i ma konkretną datę.
Co to znaczy dla Twojej firmy
Jedno kliknięcie w panelu Cloudflare, podpisane jako blokowanie botów AI, może w praktyce odciąć Twoją stronę od Google. To nie jest kwestia SEO w klasycznym rozumieniu — treść i linki mogą być bez zarzutu, a witryna i tak zniknie z wyników, bo robot Google nie zostanie w ogóle wpuszczony na serwer.
Ryzyko dotyczy szczególnie firm, które chcą chronić swoje treści przed wykorzystaniem do trenowania modeli AI i sięgnęły po najprostszą dostępną opcję. Dobra intencja może tu kosztować ruch organiczny, a więc zapytania ofertowe i sprzedaż.
Jeśli korzystasz z Cloudflare, potraktuj to jako zadanie do wykonania przed 15 września 2026 roku, a nie jako ciekawostkę branżową. Jeśli stronę prowadzi agencja lub freelancer, wyślij mu ten temat i poproś o pisemne potwierdzenie, że ustawienia zostały sprawdzone.
Dla praktyka
Termin, który trzeba zapisać w kalendarzu, to 15 września 2026 roku. Wtedy Cloudflare zmienia domyślne ustawienia dla nowych domen i wtedy roboty o mieszanym przeznaczeniu zaczynają wpadać pod każdą regułę blokującą trenowanie AI. Do tego dnia można się z nowych ustawień domyślnych wypisać.
Co sprawdzić w panelu Cloudflare:
- Sekcja AI Crawlers & Scrapers (Roboty i Skrobaki AI) — zobacz, jak sklasyfikowane są Googlebot i Bingbot i czy nie widnieją jako zablokowane.
- Stara opcja „Block AI bots” (Blokuj boty AI) — jeśli jest włączona, wiedz, że po zmianie obejmie także roboty łączące wyszukiwanie z trenowaniem.
- Bot Fight Mode (Tryb Walki z Botami) — w zgłoszeniu z Reddita to właśnie jego włączenie zbiegało się z błędami 403 przy mapie strony.
Co sprawdzić po stronie Google Search Console: raport statystyk indeksowania (Crawl Stats, czyli Statystyki indeksowania) pod kątem nagłego wzrostu odpowiedzi 403 i spadku liczby indeksowanych adresów, oraz narzędzie sprawdzania adresu URL z opcją testu wersji opublikowanej — jeśli zamiast Twojej strony zobaczysz ekran zabezpieczeń Cloudflare, masz odpowiedź.
Czego nie robić: nie zakładaj, że poprawny plik robots.txt Cię ochroni. Blokada działa na poziomie sieci, zanim robot w ogóle pobierze robots.txt. Nie wyłączaj też wszystkich zabezpieczeń w panice — celem jest rozdzielenie polityki wobec trenowania AI od dostępu robotów wyszukiwarek, a nie otwarcie serwera na oścież.
Jeśli zależy Ci na tym, żeby Google nie wykorzystywał Twoich treści do trenowania modeli, właściwym narzędziem jest dyrektywa Google-Extended w pliku robots.txt, a nie sieciowa blokada samego Googlebota.