Google: treści udostępniane linkiem nie do indeksu

Cel zmian Google opisuje wprost: mają one pomóc platformom „utrzymać poza indeksem strony tworzone przez użytkowników, które nie są przeznaczone dla wyszukiwarki, i wcześniej wykrywać spam” („keep user-created pages that aren’t meant for Search out of the index and detect spam earlier”).

Zaktualizowany dokument nosi tytuł „Prevent user-generated spam on your site and platform”. Wymienia teraz wprost „narzędzia, które pozwalają użytkownikom publikować udostępniane strony, treści generowane lub aplikacje webowe” („tools that let users publish shared pages, generated content, or web apps”).

Najważniejszym dodatkiem jest nowa sekcja „Only index content meant for Search”, czyli „indeksuj tylko treści przeznaczone dla wyszukiwarki”. Każe ona platformom odróżniać treści przeznaczone do publicznego odkrywania od treści przeznaczonych wyłącznie do bezpośredniego dostępu.

Google pisze w niej: „Jeśli Twoja usługa pozwala użytkownikom tworzyć strony do udostępniania, generowane wyniki lub interaktywne narzędzia, zastanów się, czy te treści mają być znajdowane przez wyszukiwarki, czy dostępne wyłącznie bezpośrednio dla osób z linkiem”.

Zalecenie techniczne brzmi: „Gdy strony powstają do bezpośredniego udostępniania, współpracy lub jako narzędzie użytkowe, a nie z myślą o odkrywaniu w wyszukiwarce, domyślnie stosuj regułę noindex (za pomocą metatagu robots lub nagłówka odpowiedzi HTTP X-Robots-Tag) albo zablokuj skanowanie w pliku robots.txt”.

Druga część zmian dotyczy monitorowania. Dokument zaleca zweryfikowanie witryny lub subdomeny w Search Console, żeby otrzymywać powiadomienia e-mailem o działaniach ręcznych i problemach z bezpieczeństwem.

Doszło też zalecenie regularnego sprawdzania raportu indeksowania stron i raportu skuteczności pod kątem nieoczekiwanych skoków liczby zaindeksowanych stron, wyświetleń lub zapytań, które nie pasują do przeznaczenia platformy.

Platformy mają ponadto śledzić własne wskaźniki tworzenia i indeksowania treści. Dokument podaje przykłady anomalii, na które warto ustawić alerty: skok liczby nowo opublikowanych publicznych stron albo sytuację, w której niewielka grupa użytkowników generuje dużą część indeksowalnych adresów URL.

Zmiana wywołała w branży pytania. Marie Haynes zapytała na X, czy oznacza to nadchodzące nowe działania ręczne wobec narzędzi AI i platform do tworzenia aplikacji.

Lily Ray napisała na X: „Moja pierwsza myśl to artefakty Claude, strony i witryny ChatGPT, posty na FB i inne narzędzia społecznościowe oraz AI, które ułatwiają masowe produkowanie indeksowalnych treści użytkowników”. W tym samym wpisie nazwała zmianę „kolejną wskazówką od Google co do nowych rodzajów spamu, z którymi mają do czynienia”.

Co to znaczy dla Twojej firmy

Sprawa nie dotyczy wyłącznie wielkich platform AI. Jeśli Twoja strona pozwala klientom lub partnerom coś wygenerować i udostępnić pod własnym adresem, nowe wytyczne dotyczą także Ciebie: warto ustalić, czy takie strony mają być znajdowane w wyszukiwarce, czy dostępne tylko dla osób z linkiem. Rozsądniej jest z góry zdecydować, które z tych stron mają być w Google, a resztę domyślnie z niego wyłączyć. To jednorazowa praca dla osoby technicznej, a chroni przed problemem, którego naprawa trwa znacznie dłużej.

Dla praktyka

Wytyczne są już w dokumentacji, więc nie ma na co czekać. Lista działań:

• Podział treści. Ustal, które strony tworzone przez użytkowników mają być znajdowane w wyszukiwarce, a które są przeznaczone wyłącznie do bezpośredniego dostępu. Właśnie takiego rozróżnienia wymaga nowa sekcja dokumentu.
• Blokada domyślna. Dla stron przeznaczonych do bezpośredniego dostępu domyślnie stosuj regułę noindex w metatagu robots albo w nagłówku X-Robots-Tag. Dokument dopuszcza też zablokowanie skanowania w pliku robots.txt.
• Search Console. Zweryfikuj witrynę lub subdomenę, żeby dostawać powiadomienia o działaniach ręcznych i problemach z bezpieczeństwem.
• Raporty. W Search Console sprawdzaj regularnie raport Indeksowanie → Strony (Page Indexing) i raport Skuteczność (Search performance). Szukaj nagłych wzrostów liczby zaindeksowanych stron, wyświetleń i zapytań niezwiązanych z Twoją działalnością.
• Wskaźniki po stronie serwisu. Ustaw alerty na skoki liczby nowych publicznych stron oraz na sytuację, w której kilka kont odpowiada za dużą część indeksowalnych adresów.

Źródła

• Google Warns Tools On User-Generated Spam Guidance & More, Search Engine Roundtable