Ironisk nok ser transformatorer hele kontekstvinduet som en pose med tokens som helt mangler kontekst. Vi bruker posisjonell koding for å kontekstualisere rekkefølgen på tokenene. Men modeller er fortsatt konstant forvirret over hvilket token som kom ble sagt av hvem. Hvorfor ingen kildekoding?

Hvem sa hva er omtrent like grunnleggende for mening som da de sa det. Hva om vi kodet inn i hvert et token kilden, enten det er fra systemet, utvikleren, brukeren, selve modellen, modellens tenketokens, en upålitelig 3rd part, et bestemt verktøy ...

Dette er mer eller mindre en 2D-posisjonskoding der den vertikale dimensjonen indikerer hvem og horisontal indikerer når. Det virker som om det ville spare mye hodepine. Tenk om alles stemmer, inkludert din egen og din indre monolog, hørtes nøyaktig lik ut.

@wokohomo @Theurgistic Dette er hele poenget med tokenizeren, mer eller mindre – ellers ville du alltid trene direkte på en enkel lineær projeksjon av de rå bytene.