OpenAI odsłania kulisy GPT-Live: głos bez detektora tur
4 min czytaniaDo tej pory rozmowa z asystentem głosowym opierała się na zgadywaniu. Mały model zwany detektorem tur (turn detector) musiał odpowiedzieć na pytanie „czy użytkownik już skończył zdanie?”. Zgadnie za szybko — przerwie człowiekowi w połowie myśli. Zgadnie za późno — odpowiedź brzmi ospale. Dopiero po jego decyzji do pracy zabierał się duży model językowy.
W GPT-Live tego elementu w torze audio nie ma. Model głosowy pracuje w trybie pełnego dupleksu (full-duplex), czyli słucha i mówi w tym samym czasie, więc osobny detektor przestaje być potrzebny. Gdy rozmowa wymaga głębszego rozumowania albo użycia narzędzi, dzieje się to asynchronicznie — poza ścieżką audio — dzięki czemu przepływ rozmowy nie jest przerywany.
Klucz leży w rozdzieleniu ścieżek. Audio płynie między klientem a modelem głosowym po dedykowanej szybkiej trasie, natomiast delegowanie zadań, wywołania narzędzi i logika aplikacji dzieją się za asynchroniczną granicą RPC. OpenAI pisze wprost: powolne wywołanie narzędzia opóźni własny wynik, ale nie zatrzyma przepływu mediów.
Do tego dochodzą decyzje inżynierskie niższego poziomu. Warstwę mediów i logikę inferencji napisano w Go, zastępując wcześniejszą implementację w Pythonie opartą na asyncio — po zmianie wskaźnik p95 nowego systemu odpowiada p50 poprzedniego, czyli najgorsze przypadki są dziś na poziomie dawnej mediany. Transport oparto na WebRTC, który przy opóźnionych pakietach delikatnie rozciąga dźwięk, żeby nie powstała luka, a potem krótko przyspiesza odtwarzanie.
Osobny problem to długie rozmowy. Kontekst sesji rośnie, a instancje modelu włączają się i wyłączają w zależności od obciążenia, więc OpenAI zbudowało mechanizm bezszwowego przekazania: nowa instancja jest rozgrzewana obok starej, wypełniana bieżącym kontekstem, inferencja przez chwilę biegnie równolegle, a przełączenie następuje dopiero, gdy nowa jest w pełni gotowa. Ten sam mechanizm obsługuje kompaktowanie kontekstu, gdy zbliża się on do limitu modelu.
Co to znaczy dla Twojej firmy
Jeśli rozważasz agenta głosowego do odbierania telefonów, umawiania wizyt albo sprawdzania statusu zamówień, ten materiał mówi Ci jedno: różnica między rozmową, którą klient dokończy, a taką, po której odłoży słuchawkę, tkwi w architekturze, a nie w nazwie modelu. Sam dobry model nie wystarczy, jeśli pod nim leży ścieżka, w której jedno wolne zapytanie do Twojego systemu zamówień zawiesza całą rozmowę. Warto więc pytać wykonawcę nie o to, „na czym to jest zbudowane”, ale o to, jak zachowa się agent, gdy Twój CRM odpowie po trzech sekundach. Zanim wdrożysz agenta na szeroką skalę, sprawdź go na wybranym, dobrze opisanym typie rozmów i porównaj wyniki z obsługą prowadzoną przez zespół. Warto też z góry przemyśleć, w jaki sposób poinformujesz rozmówcę, że po drugiej stronie jest system automatyczny, i jak wygląda ścieżka przekazania rozmowy do człowieka — a kwestie zgodności z przepisami o ochronie danych osobowych skonsultować z prawnikiem.
Dla praktyka
GPT-Live to system produkcyjny OpenAI zasilający ChatGPT Voice, w tym nowo uruchomioną możliwość sterowania komputerem i koordynowania agentów w aplikacji desktopowej ChatGPT. Materiał od OpenAI traktuj jako listę kontrolną do rozmowy z dostawcą agenta głosowego.
- Sprawdź, czy tor audio jest oddzielony od logiki biznesowej. Jeśli wywołanie funkcji w Twoim systemie blokuje strumień mowy, rozmowa będzie się zacinać przy każdym zapytaniu do bazy.
- Wymagaj pomiarów, nie deklaracji. Interesuje Cię czas od końca wypowiedzi klienta do pierwszej sylaby odpowiedzi oraz reakcja na przerwanie (barge-in). Poproś o konkretne liczby z Twojego scenariusza, nie o hasła z oferty.
- Zapytaj o start syntezy mowy. Czy TTS rusza od pierwszych tokenów odpowiedzi, czy dopiero po wygenerowaniu całości — to widać w odbiorze natychmiast.
- Ustal, co się stanie w długiej rozmowie. OpenAI rozwiązało rosnący kontekst przez kompaktowanie realizowane poza ścieżką rozmowy. Zapytaj, jak to robi Twój dostawca, bo tanie rozwiązanie po prostu urwie wątek.
- Przygotuj się na pracę nad polszczyzną. Rozpoznawanie i synteza mowy w języku polskim, nazwy własne, skróty branżowe i potoczny język klientów wymagają testów niezależnie od jakości modelu pod spodem.
- Zamodeluj uprawnienia agenta. Skoro model może wywoływać funkcje w Twoich systemach, z góry ustal, co zrobi sam, co wymaga potwierdzenia i czego nie zrobi nigdy. Loguj wszystkie wywołania.
Czego nie robić: nie porównuj ofert po nazwie modelu i nie zakładaj, że agent głosowy da się „dorobić” do istniejącego czatbota tekstowego bez zmiany architektury. Materiał OpenAI pokazuje, że przejście z trybu turowego na strumieniowy wymagało przepisania inferencji, zarządzania kontekstem i transportu mediów — to nie zmiana konfiguracji.