Blokada botów w Cloudflare potrafi wyciąć stronę z Google

Nagły spadek pozycji w Google i znikanie podstron z indeksu bywa mylony ze skutkiem aktualizacji algorytmu. Coraz częściej przyczyna jest znacznie bardziej prozaiczna: to sama witryna przestała wpuszczać robota wyszukiwarki.

Źródłem kłopotu bywają ustawienia sieci dostarczania treści (CDN), serwera hostingowego albo Cloudflare. Wiele z tych ustawień powstało po to, żeby chronić stronę przed botami sztucznej inteligencji i nieproszonymi crawlerami. Problem w tym, że przy okazji łatwo zablokować wyszukiwarki, których blokować nikt nie chciał.

Jonathan Bird opisał na LinkedIn przypadek, który naprawiał: „Właśnie musiałem naprawić witrynę, której ruch runął na dwa tygodnie. Ich zewnętrzny dostawca IT (nie podam nazwy, bo to łatwy błąd do popełnienia, tylko katastrofalny w skutkach) włączył w Cloudflare kontrolę crawlowania, żeby zatrzymać crawlowanie strony przez wszystkie boty”. Skutki wyliczył dalej: zablokowanie Google przed crawlowaniem zepsuło kampanie Google Ads, które „radośnie dalej pobierały pieniądze”, z Merchant Center zniknęły wszystkie oferty, a Google usunął witrynę z organicznych wyników.

Drugi przykład opublikował na LinkedIn Brodie Clark. „To była katastrofa SEO… i choć może wyglądać na efekt core update (aktualizacji rdzenia algorytmu) albo aktualizacji antyspamowej, wcale nim nie było” — napisał. W tamtym przypadku boty mocno obciążały serwery internetowego marketplace (rynku internetowego), a zespół musiał wprowadzić ograniczenia dostępu botów na poziomie firewalla, co zniszczyło SEO — po prostu po to, żeby utrzymać stronę przy życiu.

Sam problem nie jest nowy. Ponad 20 lat temu strony blokowały wyszukiwarki regułami Apache czy źle skonfigurowanym plikiem robots.txt. Nowe jest to, że narzędzi i opcji konfiguracyjnych przybyło, więc pomyłkę łatwiej dziś popełnić i trudniej ją zauważyć.

Co to znaczy dla Twojej firmy

Ustawienie w panelu dostawcy zabezpieczeń potrafi odciąć wyszukiwarkę od witryny, a skutki wychodzą poza samo SEO.

W opisanym przypadku kampanie reklamowe nadal pobierały budżet, choć strona była dla Google niedostępna, a oferty zniknęły z Merchant Center.

Dlatego zmiany w regułach blokowania botów warto traktować jak decyzję, która dotyczy również widoczności w wyszukiwarce, a nie wyłącznie kwestię techniczną po stronie dostawcy IT.

Dla praktyka

Jeśli widzisz nagły, pionowy spadek widoczności, zanim zaczniesz szukać winy w aktualizacji algorytmu, sprawdź dostępność witryny dla robota.

• Sprawdź w Google Search Console, czy podstrony są dostępne dla robota i czy nie przybyło stron z błędami pobierania albo wykluczonych z indeksu.
• Przejrzyj w panelu Cloudflare ustawienia kontroli crawlowania i blokowania botów.
• Zajrzyj do logów zdarzeń firewalla i sprawdź, czy Googlebot nie dostaje wyzwań (challenge) albo blokad.
• Zweryfikuj plik robots.txt i reguły po stronie serwera — to miejsca, w których przypadkowe blokady zdarzały się od lat.
• Jeśli prowadzisz sprzedaż, sprawdź status ofert w Merchant Center.

Czego nie robić: nie zmieniaj ustawień blokowania botów na produkcji bez sprawdzenia, jak potraktują one wyszukiwarki. Zanim zaczniesz szukać przyczyny w kampaniach reklamowych, ustal najpierw, czy robot w ogóle wchodzi na stronę.

Źródła

• Misconfiguring Cloudflare Can Hurt Your SEO Badly — Search Engine Roundtable