Google DeepMind testuje nowy model rankingowy ARR
3 min czytaniaDzisiejsze wyszukiwanie działa w dwóch etapach. Podwójny enkoder (Dual Encoder) zamienia zapytania i dokumenty na wektory i szybko wyciąga kandydatów - jest tani obliczeniowo, ale ma ograniczoną precyzję rankingu. Dopiero krzyżowy enkoder (Cross Encoder) ocenia i porządkuje wybrane strony, bo jest znacznie mocniejszy, ale zbyt kosztowny obliczeniowo, żeby przeszukiwać nim cały indeks.
Praca nosi tytuł „Autoregressive Ranking: Bridging the Gap Between Dual and Cross Encoders”. Propozycja polega na zastąpieniu tej dwustopniowej architektury jednym modelem językowym, który od razu generuje uporządkowaną listę dokumentów.
Do wytrenowania takiego modelu opracowano metodę SToICaL (Simple Token-Item Calibrated Loss). Dokumenty, które powinny stać wyżej, dostają większą wagę, a ranking z danych treningowych zwiększa prawdopodobieństwo wyborów prowadzących do trafniejszych wyników. Autorzy piszą: „Proponujemy następnie SToICaL (Simple Token-Item Calibrated Loss), uogólnioną, świadomą rankingu funkcję straty do dostrajania modeli językowych”.
Testy przeprowadzono na dwóch zbiorach: WordNet oraz ESCI Shopping Queries. Trening świadomy rankingu „znacząco poprawia metryki rankingowe poza wyszukiwaniem top-1″, a w eksperymentach na WordNet metody te „drastycznie redukują” błąd polegający na wynoszeniu dokumentów nierelewantnych nad relewantne. W porównaniu na WordNet ARR wypadł podobnie do krzyżowego enkodera (Cross Encoder) i istotnie lepiej niż podwójny enkoder (Dual Encoder).
Nie wszystko wyszło jednakowo dobrze. W teście na zapytaniach zakupowych jedna wersja metody pogorszyła się w ustawianiu najbardziej trafnego wyniku na pierwszym miejscu, mimo że poprawiła ranking całej listy.
Osobno autorzy przedstawiają argument teoretyczny: żeby podwójny enkoder (Dual Encoder) mógł odwzorować dowolną kolejność k dokumentów, wymiar jego zanurzeń musi rosnąć liniowo wraz z k, natomiast model ARR o stałym wymiarze ukrytym teoretycznie wystarcza do uszeregowania dowolnej liczby dokumentów. To wynik teoretyczny, który nie dowodzi jeszcze, że tak samo zachowa się produkcyjna wyszukiwarka.
Co to znaczy dla Twojej firmy
Opisane rozwiązanie pozostaje na etapie pracy badawczej - nie ogłoszono wdrożenia ARR w działającej wyszukiwarce. Warto natomiast odnotować sam kierunek prac: celem badania jest lepsze uszeregowanie dokumentów względem zapytania przy jednoczesnym ograniczeniu kosztu obliczeniowego, jaki dziś wiąże się z drugim etapem rankingu.
Dla praktyka
Warto przeczytać oryginalne opracowanie, żeby wiedzieć, o czym mówi się w branży, i mieć własne zdanie zamiast cudzych nagłówków.
- Zapisz w kalendarzu regularny przegląd wahań pozycji i porównuj je z ogłoszonymi aktualizacjami, a nie z datami publikacji badań.
- Przejrzyj treści pod kątem intencji: informacyjna, transakcyjna, lokalna - i sprawdź, czy strona faktycznie odpowiada na pytanie, z którym przychodzi użytkownik.
- Uporządkuj strukturę: nagłówki, wyraźne sekcje, FAQ, spójne opisy ofert napisane naturalnym polskim językiem.
- Wyrzuć albo przepisz szablonowe, hurtowe opisy produktów oraz teksty wygenerowane bez redakcji.
- Dla firm lokalnych bez zmian: wizytówka Google, opinie, spójne dane NAP i lokalne linki zostają podstawą.
Czego nie robić: nie kupuj usług obiecujących „optymalizację pod ARR” ani „pod nowy model Google”. Opisane badanie nie jest ogłoszeniem zmiany w wyszukiwarce.