Google zaleca kod 304, by oszczędzać budżet crawlowania
3 min czytaniaRoger Montti opisał w Search Engine Journal dwie zmiany w dokumentacji Google dotyczącej budżetu crawlowania (indeksowania). Obie dotyczą tego, jak roboty wyszukiwarki obchodzą się z serwerem.
Pierwsza zmiana to informacja o współdzieleniu zasobów. Google napisało, że choć każdy robot ma inne zapotrzebowanie na crawlowanie (indeksowanie), limit przepustowości (ang. crawl capacity limit) jest wspólny dla wszystkich robotów. W praktyce oznacza to, że wysokie zapotrzebowanie jednego robota — na przykład Googlebot-Image — obniża pulę dostępną dla pozostałych.
Druga zmiana to rekomendacja obsługi kodu odpowiedzi HTTP 304 (Not Modified). Google pisze, żeby wspierać ten kod: jeśli strona nie zmieniła się od ostatniego pobrania, zwrócenie 304 mówi wyszukiwarce, żeby użyła wersji z pamięci podręcznej, co oszczędza pasmo i zasoby serwera.
Warto rozwiać jedno techniczne nieporozumienie. Kod 304 formalnie należy do grupy 3xx, czyli kodów przekierowań, ale — jak zauważa autor tekstu w Search Engine Journal — żadne przekierowanie tu nie następuje. Serwer po prostu nie wysyła treści strony, a robot może zająć się innymi adresami.
Obie zmiany trafiły do dokumentu Google „Optimize Your Crawl Budget” (optymalizacja budżetu crawlowania), który jest szczególnie istotny dla bardzo dużych serwisów.
Co to znaczy dla Twojej firmy
Jeśli prowadzisz niewielką witrynę firmową, ta rekomendacja ma dla Ciebie niewielkie znaczenie praktyczne — dokumentacja adresowana jest przede wszystkim do bardzo dużych serwisów. Sytuacja wygląda inaczej, gdy prowadzisz rozbudowany sklep, portal ogłoszeniowy albo serwis, w którym oferta zmienia się codziennie.
Sedno sprawy nie jest marketingowe, a infrastrukturalne: im mniej danych serwer wysyła robotom na darmo, tym więcej mocy zostaje na obsługę realnych klientów i na pobieranie tych podstron, które faktycznie się zmieniły. To temat na rozmowę z osobą odpowiedzialną za hosting i CMS, nie z copywriterem.
Informacja o wspólnym limicie dla wszystkich robotów ma jeszcze jedno przełożenie na plany rozwoju. Jeśli dokładasz do serwisu galerie zdjęć czy wideo, te materiały będą konkurować o tę samą pulę połączeń co zwykłe podstrony. Warto to uwzględnić, zanim zdecydujesz się na rozbudowę.
Dla praktyka
Kolejność działań przy większym serwisie:
- Sprawdź w logach serwera, jak często Googlebot dostaje odpowiedź 200 z pełną treścią na adresach, które w rzeczywistości się nie zmieniły. To Twoja realna skala marnotrawstwa.
- Skonfiguruj nagłówki Last-Modified i ETag po stronie serwera lub systemu zarządzania treścią, tak aby aplikacja umiała odpowiedzieć na warunkowe żądanie robota kodem 304 zamiast pełną stroną.
- Rozdziel w analizie ruch robotów według typu: skoro limit jest wspólny, sprawdź, czy Googlebot-Image nie zjada nieproporcjonalnie dużo połączeń.
- Uporządkuj łańcuchy przekierowań i usuń podstrony, które zwracają 200 mimo braku treści — one nadal pobierają pełne zasoby serwera.
Czego nie robić. Nie ustawiaj kodu 304 ręcznie i na sztywno na podstronach, które w rzeczywistości się zmieniają — ceny, dostępność, komunikaty prawne. Wyszukiwarka użyje wtedy wersji z pamięci podręcznej i Twoje zmiany dotrą do wyników z opóźnieniem.
Nie traktuj też kodu 304 jako sposobu na szybszą indeksację. On nie sprowadza robota częściej — pozwala mu tylko nie tracić czasu na to, co już zna. Jeśli nowe podstrony nie wchodzą do indeksu, warto najpierw sprawdzić jakość treści, strukturę linków wewnętrznych oraz błędy serwera 5xx, zanim uznasz przyczynę za związaną z crawlowaniem (indeksowaniem) i pamięcią podręczną.
I sprawa priorytetów: przy małej witrynie firmowej wdrożenie obsługi 304 przyniesie zwykle mniejszy efekt niż inne prace techniczne. Wcześniej zajmij się eliminacją błędów serwera oraz filtrami i kalendarzami, które generują nadmiar niepotrzebnych adresów.