OpenAI będzie respektować wspólny sygnał w robots.txt
2 min czytaniaDo tej pory właściciel strony musiał rozpoznawać poszczególne roboty indeksujące i utrzymywać osobne reguły dla każdego dostawcy. Dotyczyło to sytuacji, w której nie chciał, by jego teksty trafiały do zbiorów treningowych.
Wspólny sygnał dla wielu dostawców ma tę pracę ograniczyć. Rozwiązanie ma charakter dobrowolny.
Sygnał wyrasta z prac grupy roboczej AI Preferences działającej w Internet Engineering Task Force (IETF). OpenAI dołącza do innych uczestników tej grupy, którzy ogłosili sygnał wspólnie.
OpenAI określa zmianę jako „praktyczny krok w stronę otwartego internetu, w którym ludzie mogą publikować i odnajdywać informacje, a właściciele stron mają jaśniejsze, prostsze sposoby komunikowania swoich wyborów co do tego, jak wykorzystywane są ich treści” (w oryginale: „a practical step toward an open web”).
Komunikat kończy się apelem do konkurencji: „We encourage other AI providers to honor the signal” („Zachęcamy innych dostawców AI do respektowania tego sygnału”).
Co to znaczy dla Twojej firmy
Jeśli artykuły, poradniki czy opisy produktów na Twojej stronie są dla Ciebie wartością, dostaniesz prostszy sposób na zakomunikowanie, czy wolno na nich trenować modele AI.
To jednak deklaracja, a nie zamek. Plik robots.txt działa tylko wobec robotów, które go respektują, i nie zastępuje umowy, zabezpieczenia technicznego ani analizy prawnej dotyczącej praw autorskich czy danych osobowych.
Na razie nie trzeba niczego zmieniać w pośpiechu. Wystarczy przemyśleć, które treści chcesz udostępniać do treningu, a które nie.
Dla praktyka
Co dokładnie: nowy sygnał w robots.txt dotyczy preferencji co do wykorzystania treści do trenowania bazowych modeli generatywnej AI.
Od kiedy: OpenAI pisze, że zamierza wdrożyć sygnał „w nadchodzących miesiącach” i przy tej okazji opublikować osobny komunikat ze szczegółami implementacji.
Co z obecnymi regułami: nowy sygnał nie zastąpi dotychczasowych mechanizmów kontroli robotów OpenAI w robots.txt. Istniejące reguły nadal mają obowiązywać i być respektowane.
W samym komunikacie nie ma przykładowego wpisu do pliku. Nie wklejaj więc reguł z nieoficjalnych poradników, dopóki dostawca nie opisze swojego wdrożenia.
Co warto zrobić już teraz:
- Zinwentaryzuj obecny robots.txt i zapisz, które roboty AI oraz które ścieżki już blokujesz.
- Ustal z osobą odpowiedzialną za SEO i IT, które sekcje serwisu są strategiczne, a które mogą pozostać otwarte.
- Projektuj reguły także dla wybranych ścieżek, a nie tylko dla całej domeny.
- Śledź zapowiedziany komunikat ze szczegółami wdrożenia oraz dokumentację innych dostawców AI.
- Po każdej zmianie w robots.txt sprawdź ruch organiczny i obecność marki w usługach AI.