Jak przygotować stronę na agentów AI: co robić, co blokować
4 min czytaniaNajkrótsza definicja różnicy: crawler wyszukiwarki zapisuje stronę na potrzeby przyszłych rankingów, a agent AI albo indeksuje ją po to, by mieć z czego cytować, albo wciąga do treningu modelu, albo pobiera jednorazowo do jednej konkretnej odpowiedzi. Ta sama strona, trzy różne cele.
Boty dzielą się na trzy kategorie. Crawlery trenujące (na przykład GPTBot, ClaudeBot, Bytespider) zbierają materiał do szkolenia modeli. Crawlery pobierające do odpowiedzi (OAI-SearchBot, Claude-SearchBot, PerplexityBot) budują indeks, z którego system AI korzysta przy odpowiadaniu na pytanie. Do tego dochodzą pobieracze uruchamiane przez użytkownika (ChatGPT-User, Claude-User, Perplexity-User), które sięgają po stronę tylko wtedy, gdy człowiek każe AI ją przeczytać - na przykład wkleja adres do ChatGPT.
Do tego dochodzi kwestia techniczna, która przesądza o wszystkim innym. Większość crawlerów (ang. crawlers) AI nie wykonuje JavaScriptu (ang. JavaScript) - czytają tekst obecny już w pierwszej odpowiedzi serwera i pomijają to, co pojawia się dopiero po uruchomieniu skryptu.
Co to znaczy dla Twojej firmy
Zamiast jednego rankingu z dziesięcioma linkami klient dostaje jedną złożoną odpowiedź, w której albo jesteś, albo Cię nie ma. Jeśli Twojej strony nie ma w tym procesie, tracisz widoczność i świadomość marki - a przy zakupach realizowanych przez modele językowe przekłada się to na wynik finansowy.
Druga rzecz to spójność danych. Zanim agent AI powtórzy twierdzenie o Twojej firmie, szuka innych źródeł, które je potwierdzą. Poprawnie podane godziny, adres czy ceny na własnej stronie nie pomogą, jeśli wpis w katalogu albo stary profil w serwisie z opiniami mówi coś innego.
Praktyczny wniosek dla małej firmy jest prozaiczny: więcej jednoznacznych informacji o ofercie, mniej ogólnych haseł. Warianty, ograniczenia, parametry, ceny, dostępność, obszar działania, sposób złożenia zapytania.
Dla praktyka
Zacznij od robots.txt. Blokowanie warto rozważyć wyłącznie przy crawlerach trenujących, jeśli rezygnacja z trenowania modeli jest dla Ciebie priorytetem - wtedy zablokuj GPTBota i podobne, pozostawiając dostęp crawlerom pobierającym do odpowiedzi i pobieraczom uruchamianym przez użytkownika. Zablokowanie tych dwóch grup odcina widoczność w modelach językowych całkowicie.
Czego nie robić: nie zostawiaj domyślnego lub nieaktualizowanego pliku robots.txt. Taki plik potrafi blokować albo ignorować te crawlery bez wiedzy kogokolwiek w firmie.
Techniczna lista minimum:
- Realna treść w surowym HTML (ang. HyperText Markup Language), nie tylko w JavaScripcie (ang. JavaScript).
- Szybkie i niezawodne wczytywanie stron. Crawlery (ang. crawlers) AI porzucają strony, które przekraczają limit czasu - jedna z analiz wykazała, że strony często niewczytujące się w wyznaczonym czasie były cytowane około 18 razy rzadziej niż strony wczytujące się niezawodnie.
- Przegląd robots.txt pod kątem reguł dotyczących botów AI.
Do wyłapania problemów z renderowaniem i indeksowaniem służy audyt witryny (ang. Site Audit) w Semrushu. Po konfiguracji wejdź w zakładkę „Issues” (problemy) i wpisz w wyszukiwaniu „blocked” (zablokowane), żeby wyświetlić problemy związane z zablokowanymi crawlerami. Reszty błędów, ostrzeżeń i powiadomień też nie pomijaj.
Struktura serwisu: strona filarowa na szeroki temat plus podstrony o konkretnych wątkach, linkowane w obie strony, opisowe teksty kotwic (ang. anchors) nazywające zawartość strony docelowej, zero stron osieroconych i jedna aktualna mapa strony XML (ang. sitemap). Strona bez żadnych linków prowadzących do niej nie dokłada się do Twojego zasięgu tematycznego, choćby treść była świetna.
Pisanie pod ekstrakcję jest najbardziej konkretną częścią. Każdą sekcję zaczynaj pełnym, samodzielnym zdaniem, które odzwierciedla nagłówek - wyjęte z kontekstu ma nadal mieć sens i w całości odpowiadać na pytanie. Unikaj zaimków odsyłających do czegoś poza sekcją („to”, „ono”, „oni”) i trzymaj w pierwszym zdaniu jedną myśl, a niuanse przenieś do kolejnych.
Najlepiej wyciągane i cytowane formaty to tabele, listy numerowane i punktowane - każdy format, w którym pojedyncza informacja jest kompletna sama z siebie. Liczy się kompletność, nie sam format: zdanie, wiersz tabeli albo punkt listy potrzebuje własnego jasnego podmiotu i twierdzenia.
Znaczniki: standardowe schema.org - Article, Organization, BreadcrumbList i Product - wdrożone w JSON-LD, walidowane w narzędziu do testowania wyników rozszerzonych (ang. Rich Results Test) przed publikacją. Tu ważne zastrzeżenie, które oszczędzi Ci złudzeń: dokumentacja Google dotycząca AI Overviews i AI Mode „mówi wprost, że do pojawienia się w tych funkcjach nie jest potrzebne żadne specjalne znaczniki schema.org”. Czy ChatGPT, Claude i Perplexity czytają lub ważą dane strukturalne przy wyborze cytowań, nie zostało potwierdzone przez żadną z tych firm, a testy zewnętrzne są dotąd niejednoznaczne. Wdrożenie i tak się opłaca, bo bot wyszukiwarki Google korzysta z tych danych w wynikach organicznych, a koszt jednorazowego dodania jest niski.
Sygnały wiarygodności: podpis autora prawdziwym nazwiskiem zamiast „redakcja”, linki do oryginalnego badania, oficjalnej dokumentacji lub danych własnych, identyczne dane firmy w katalogach, serwisach z opiniami i profilach społecznościowych, opinie przypisane realnym, identyfikowalnym klientom. Widoczna data ostatniej aktualizacji ma sens tylko wtedy, gdy treść faktycznie się zmienia.