Ile polskich stron blokuje boty AI? Badanie 1000 domen

Sprawdziliśmy plik robots.txt tysiąca najpopularniejszych polskich domen i policzyliśmy, ile z nich blokuje boty sztucznej inteligencji. Blokuje przynajmniej jednego bota 19,2% stron. Ale najciekawsze okazało się co innego: cztery piąte blokujących zamyka drzwi przed trenowaniem modelu, a zostawia je otwarte przed odczytem na żądanie użytkownika.

Co dokładnie zmierzyliśmy

Próbę stanowi 1000 domen z końcówką .pl o najwyższej pozycji na liście Tranco - publicznym rankingu popularności witryn, z którego korzysta się w badaniach naukowych. Wykorzystaliśmy listę dzienną z 28 sierpnia 2026 roku o identyfikatorze N2Q8W; polskich domen jest w niej 9022. Zakres rang w naszej próbie sięga od 693 (allegro.pl) do 138 196.

Dla każdej domeny pobraliśmy plik robots.txt - jeden odczyt, 29 sierpnia 2026. Ten sam mechanizm, którego używa nasz test botów AI, pozwala sprawdzić pojedynczy adres w kilka sekund.

Czego nie udało się zmierzyć

Domeny niezmierzone wykluczyliśmy z mianownika, zamiast doliczać je do grupy „nie blokuje”. Domena, do której nie udało się dotrzeć, nie jest domeną zezwalającą - a policzenie jej jako takiej zaniżyłoby wszystkie odsetki. Podstawą analizy jest więc 937 domen.

Kryterium, które decyduje o wszystkim

Samo słowo Disallow w pliku niczego nie przesądza. Liczą się dwie rzeczy: skąd pochodzi reguła i jak daleko sięga.

• Blokada celowa - strona ma własną sekcję dla konkretnego bota, na przykład User-agent: GPTBot. To świadoma decyzja wobec sztucznej inteligencji.
• Blokada ogólna - bot podpada tylko pod User-agent: *, która dotyczy tak samo Googlebota. Taka reguła nie mówi nic o stosunku wydawcy do AI.
• Blokada pełna kontra częściowa - za blokadę uznajemy wyłącznie Disallow: /, czyli zamknięcie całej witryny. Sekcja User-agent: GPTBot z regułą Disallow: /wp-admin/ nie blokuje bota, tylko porządkuje mu ścieżkę.

W tym badaniu liczymy wyłącznie blokady celowe i pełne. Zsumowanie ich z ogólnymi dałoby nagłówek, który byłby po prostu nieprawdziwy: blokad ogólnych, dotyczących wszystkich botów naraz, jest w próbie tylko 11-13 na bota i są to zwykle serwisy zamknięte w całości. Doliczenie blokad częściowych podniosłoby wynik o 12 domen, w tym o takie, które nazwały bota w pliku wyłącznie po to, żeby wskazać mu jeden katalog.

Warto też znać regułę, którą łatwo przeoczyć: w standardzie RFC 9309 sekcja nazwana ma pierwszeństwo przed gwiazdką. Strona, która blokuje wszystko przez User-agent: *, ale ma pustą sekcję User-agent: GPTBot, w rzeczywistości GPTBota przepuszcza. Własny plik możesz sprawdzić testerem robots.txt.

Który bot jest blokowany najczęściej

Jedna uwaga, bo to źródło częstych nieporozumień: Google-Extended nie dotyczy wyszukiwarki. Zablokowanie go wyłącza stronę z trenowania modelu Gemini, ale nie usuwa jej z wyników wyszukiwania Google.

Najważniejszy wniosek: „nie trenuj na mnie, ale możesz mnie pokazać”

Boty AI pełnią dwie różne funkcje. Jedne zbierają treść do trenowania modelu. Inne odczytują stronę wtedy, gdy użytkownik zadaje pytanie, i cytują ją w odpowiedzi. Kiedy rozdzielimy te dwie grupy, obraz zmienia się całkowicie.

Cztery piąte polskich stron, które w ogóle sięgnęły po blokadę, zamyka drzwi wyłącznie przed trenowaniem. Symetria jest przy tym zupełna: w całej próbie nie ma ani jednej domeny, która blokowałaby bota odczytu, a przepuszczała treningowego. Nikt nie mówi „możesz na mnie trenować, ale nie cytuj mnie”.

Najostrzej widać to w danych OpenAI. GPTBot blokuje 15,5% domen, a ChatGPT-User zaledwie 2,9% - ta sama firma, dwa różne boty, pięciokrotna różnica. U Anthropic kontrast jest jeszcze większy: ClaudeBot 10,9% wobec Claude-User 0,4%.

Kto właściwie podjął tę decyzję

Kuszące byłoby uznać ten wzór za dowód, że polscy wydawcy masowo przemyśleli różnicę między byciem materiałem treningowym a byciem źródłem cytowanym w odpowiedzi. Sprawdziliśmy to i obraz jest mniej romantyczny.

53 ze 180 blokujących domen (29%) serwuje plik robots.txt zarządzany przez Cloudflare - rozpoznawalny po znaczniku Cloudflare Managed content i deklaracji Content-Signal: search=yes, ai-train=no, use=reference. Pliki są bajtowo identyczne na witrynach, które nie mają ze sobą nic wspólnego: vogue.pl, fora.pl, wosp.org.pl i pokewars.pl serwują dokładnie ten sam dokument. Wszystkie 53 wpadają do grupy „tylko trening”, czyli stanowią 36% naszej liczby 146.

Rozróżnienie trening kontra odczyt jest tam wpisane w domyślne ustawienie dostawcy, a nie wypracowane w redakcji. Ktoś przesunął przełącznik i to też jest decyzja - ale decyzja o zaufaniu ustawieniu domyślnemu, nie o odróżnieniu dwóch sposobów użycia treści. Ta obserwacja jest ciekawsza niż pierwotny wniosek: kierunek, w którym idzie polski internet, wyznaczają dziś w dużej mierze ustawienia domyślne infrastruktury, a nie tysiąc osobnych redakcyjnych rozstrzygnięć.

Jedna decyzja widoczna w czternastu serwisach

Najbardziej rozległe blokady w próbie należą do jednej grupy wydawniczej. Czternaście domen PTWP - wnp.pl, portalsamorzadowy.pl, rynekzdrowia.pl, farmer.pl, portalspozywczy.pl, pulshr.pl, dlahandlu.pl, propertynews.pl, propertydesign.pl, sadyogrody.pl, dobrzemieszkaj.pl, wiescirolnicze.pl, well.pl oraz ptwp.pl - blokuje dokładnie 12 z 13 badanych botów, co do jednego. Jedynym przepuszczanym jest Claude-User. Trzynaście z tych plików ma identyczną, liczącą ponad 300 pozycji listę user-agentów, co czyni wspólne źródło konfiguracji bezdyskusyjnym.

Tak wygląda decyzja podjęta na poziomie wydawcy, a nie pojedynczej redakcji. Rekordu tego nie mają jednak wyłącznie oni: eurogamer.pl i pwn.pl również blokują 12 z 13, każdy własnym, zupełnie inaczej napisanym plikiem. Dla porównania, w większości próby blokady są wybiórcze i obejmują dwa lub trzy najbardziej znane boty.

Czy więksi blokują częściej? Nie

Brak wyraźnego trendu. Blokowanie botów AI nie jest praktyką zarezerwowaną dla największych serwisów - rozkłada się po całej próbie.

Czego to badanie nie mówi

• Plik robots.txt to deklaracja, nie egzekucja. Zmierzyliśmy, czego strony sobie życzą, a nie czy boty tego przestrzegają. Sprawdzenie przestrzegania wymaga analizy logów serwera i jest osobnym zadaniem.
• Odsetki liczą domeny, nie niezależne decyzje. 98 ze 180 blokujących (54%) serwuje plik z tego samego szablonu co inne domeny w próbie - poza opisanymi wyżej Cloudflare i PTWP są to między innymi grupy Polska Press (28 domen), Wirtualna Polska (10), Ringier Axel Springer (7), Eurozet (7) i Agora (6). Jedno ustawienie w jednej firmie porusza kilkanaście pozycji w tabeli naraz.
• Próba to 1000 najpopularniejszych domen, nie „polski internet”. Ranking Tranco mierzy popularność, więc wynik opisuje serwisy z realnym ruchem. Małe strony firmowe zachowują się prawdopodobnie inaczej i nie ma ich w tej próbie.
• Nie dzieliliśmy domen na typy. Tranco nie klasyfikuje witryn, więc z tych danych nie da się powiedzieć „tyle procent wydawców” ani „tyle procent sklepów” bez ręcznej klasyfikacji.
• To pomiar jednorazowy. Pokazuje stan na 29 sierpnia 2026, a nie kierunek zmiany. Powtórzymy go za kwartał tą samą metodą.
• Lista botów obejmuje 13 pozycji. Nowe pojawiają się co kilka miesięcy, więc strona blokująca bota spoza tej listy zostanie tu policzona jako nieblokująca.

Co z tego wynika dla twojej strony

Decyzja o blokowaniu botów AI nie jest zerojedynkowa i dane pokazują, że większość blokujących tak ją właśnie traktuje. Zanim zablokujesz wszystko, rozważ trzy pytania:

1. Czy chcesz być cytowany w odpowiedziach AI? Jeśli tak, zablokuj boty treningowe, ale przepuść boty odczytu - inaczej znikniesz z odpowiedzi ChatGPT i Perplexity.
2. Czy blokujesz przez gwiazdkę? Reguła User-agent: * dotyczy też Googlebota. Boty AI blokuje się osobnymi sekcjami.
3. Czy twój plik jest twój? Jeśli stoisz za Cloudflare albo korzystasz z gotowego szablonu, sprawdź, co dokładnie deklaruje - jedna trzecia blokad w tej próbie pochodzi z ustawienia domyślnego, nie z decyzji wydawcy.

Swój plik sprawdzisz naszym testem botów AI - pokazuje, które z 13 botów mają dostęp do twojej strony. Składnię i zasięg reguł zweryfikujesz testerem robots.txt.

Metoda i dane

Badanie wykonaliśmy własnym parserem zgodnym z RFC 9309, obsługującym grupowanie sekcji i pierwszeństwo sekcji nazwanej nad gwiazdką. Przed uruchomieniem skanu parser przeszedł 18 testów jednostkowych obejmujących między innymi trzy warianty pierwszeństwa sekcji nazwanej nad gwiazdką - w tym sekcję całkiem pustą - oraz rozróżnienie blokady celowej od ogólnej. Za blokadę uznajemy wyłącznie Disallow: / pochodzące z własnej sekcji danego bota. Próba to pierwszych 1000 domen .pl z listy dziennej Tranco o identyfikatorze N2Q8W z 28 sierpnia 2026 - identyfikator jest trwały, więc dokładnie tę samą próbę można odtworzyć i pomiar powtórzyć.