OpenAI: robots.txt może nie działać na ChatGPT-User
3 min czytaniaReguła zakazu w pliku robots.txt to prośba, a nie techniczna blokada — teraz jeden z największych dostawców sztucznej inteligencji zapisał ten wyjątek wprost w swojej dokumentacji.
Dokumentacja crawlerów OpenAI opisuje, że ChatGPT-User odwiedza stronę wtedy, gdy użytkownik ChatGPT zadaje pytanie, a ponieważ te działania inicjuje człowiek, reguły robots.txt mogą nie mieć zastosowania.
Raport State of the Bots przygotowany przez TollBit obejmuje pierwszą połowę 2026 roku. Wynika z niego, że na europejskich witrynach omawianych w raporcie około 15% zidentyfikowanych agentów pobierających strony dotarło do adresów oznaczonych jako niedozwolone.
Zjawisko koncentruje się na kilku konkretnych agentach. ChatGPT-User, Bytespider i Youbot sięgnęły po zablokowane strony na blisko połowie europejskich witryn, które wymieniały je z nazwy w swoich regułach. Spośród nich ChatGPT-User dotarł do największej liczby witryn.
Znaczenie ma też skala samego blokowania. W Europie tylko 9% witryn blokuje Claude-User, wobec 26% w Ameryce Północnej, a Perplexity-User odpowiednio 13% i 26%. Większość najnowszych agentów ma w Europie jednocyfrowe wskaźniki blokowania, a ChatGPT-User jest tu wyjątkiem.
Podejście dostawców nie jest jednolite. Perplexity podaje, że Perplexity-User z reguły ignoruje plik robots.txt z tego samego powodu, natomiast Anthropic deklaruje, że wszystkie trzy jego boty ten plik respektują. TollBit każde żądanie do zablokowanego adresu traktuje jako obejście reguły, niezależnie od tego, co deklaruje operator bota.
Co to znaczy dla Twojej firmy
Jeśli Twoja firma zablokowała boty sztucznej inteligencji w pliku robots.txt, warto ponownie przyjrzeć się temu ustawieniu. Wpis dotyczący ChatGPT-User nie jest twardym zakazem, bo dostawca sam opisał wyjątek dla żądań inicjowanych przez człowieka. Treści, których naprawdę nie chcesz udostępniać na zewnątrz, wymagają zabezpieczenia mocniejszego niż plik tekstowy w katalogu głównym. Z drugiej strony to nie jest wyłącznie zagrożenie — warto świadomie zdecydować, co ma być dostępne dla sesji inicjowanych przez użytkowników asystenta, zamiast zostawiać sprawę przypadkowi.
Dla praktyka
Zacznij od rozróżnienia botów OpenAI, bo każdy pełni inną funkcję i każdy wymaga innej decyzji. GPTBot pobiera treści na potrzeby trenowania modeli, OAI-SearchBot odpowiada za to, czy strona pojawia się w wynikach wyszukiwania ChatGPT, a ChatGPT-User pobiera konkretny adres na żądanie użytkownika.
Zgodnie z dokumentacją OpenAI to OAI-SearchBot decyduje o obecności w wynikach ChatGPT, więc witryny blokujące oba te agenty oddały widoczność, a w zamian zachowały kontrolę nad pobieraniem, która ma wyjątek. Decyzję o każdym z agentów warto więc rozstrzygać osobno.
Nie sprawdzaj skuteczności blokad w samym pliku robots.txt. Logi serwera i zapisy z sieci dostarczania treści (CDN) pokazują, co faktycznie dotarło na serwer, podczas gdy plik pokazuje wyłącznie to, o co poprosiłeś. Przefiltruj logi według nazw agentów użytkownika — ChatGPT-User, GPTBot, OAI-SearchBot, Perplexity-User, Claude-User, Bytespider — i porównaj listę żądań z listą zablokowanych ścieżek.
Zwróć też uwagę na zmiany po stronie dostawców infrastruktury. Cloudflare przenosi decyzję o dostępie crawlerów na warstwę sieci, więc w przypadku rozpoznawanych botów zgodność z regułami nie zależy już od samego crawlera. Od 15 września nowe domeny dodawane do Cloudflare będą miały crawlery trenujące i agentowe domyślnie zablokowane na stronach z reklamami, a crawlery wyszukiwarek pozostaną dozwolone. Jeśli planujesz migrację serwisu, sprawdź te ustawienia zaraz po dodaniu domeny.
Na koniec kwestia otwarta: cała konstrukcja opiera się na argumencie, że poproszenie o stronę różni się od pobrania jej przez crawlera, a wszyscy najwięksi asystenci pobierają dziś strony w ten sposób. Nie buduj strategii ochrony treści na założeniu, że ten wyjątek zniknie sam z siebie.