Co AI robi z Twoim tekstem, zanim Ci odpowie?
Zanim zobaczysz pierwszy znak odpowiedzi, Twoje zdanie przechodzi przez serię dość zaskakujących etapów – od cięcia na drobne „klocki”, przez rzut do wielowymiarowej przestrzeni liczb, aż po wielokrotne „spojrzenia” modelu na cały kontekst. Co właściwie dzieje się krok po kroku, gdy rozmawiasz z AI? Od słów do liczb: moment, w którym tekst przestaje być tekstem Pierwszym etapem „słuchania” jest tokenizacja, czyli podział tekstu na mniejsze jednostki, zwane tokenami. Mogą to być całe słowa, ich fragmenty albo pojedyncze znaki. Podział na tokeny nie wynika z rozbioru gramatycznego czy z jakiejś analizy znaczenia, lecz z praktycznych powodów „inżynieryjnych”. Język jest zbyt bogaty, by sensownym rozwiązaniem było przechowywanie każdego możliwego wyrazu osobno. Stosuje…
