Ironią losu, transformatory postrzegają cały swój kontekst jako worek tokenów całkowicie pozbawionych kontekstu. Używamy kodowania pozycyjnego, aby zcontextualizować kolejność tokenów. Ale modele wciąż są nieustannie zdezorientowane, który token został powiedziany przez kogo. Dlaczego nie ma kodowania źródłowego?

Kto powiedział, co jest tak samo fundamentalne dla znaczenia, jak to, kiedy to powiedział. Co jeśli zakodowalibyśmy w każdym tokenie źródło, czy to z systemu, dewelopera, użytkownika, samego modelu, tokenów myślenia modelu, nieufnej strony trzeciej, konkretnego narzędzia…

To jest mniej więcej 2D kodowanie pozycyjne, gdzie wymiar pionowy wskazuje, kto, a poziomy wskazuje, kiedy. Wydaje się, że to zaoszczędziłoby wiele bólu głowy. Wyobraź sobie, że głos każdego, w tym twój własny i twój wewnętrzny monolog, brzmiał dokładnie tak samo.

@wokohomo @Theurgistic To jest cały sens tokenizera, mniej więcej — w przeciwnym razie zawsze trenowałbyś bezpośrednio na prostej liniowej projekcji surowych bajtów.