Ironista kyllä, muuntajat näkevät koko konteksti-ikkunansa pussina tokeneita, joilta puuttuu kokonaan konteksti. Käytämme sijaintikoodausta tokenien järjestyksen kontekstualisoimiseen. Mutta mallit ovat edelleen jatkuvasti hämmentyneitä siitä, mikä token tuli, sanoi kuka. Miksi ei lähdekoodausta?

Kuka sanoi mitä, mikä on suunnilleen yhtä perustavanlaatuista merkityksen kannalta kuin silloin, kun he sanoivat sen. Mitä jos koodaisimme jokaiseen tunnukseen lähteen, olipa se sitten järjestelmästä, kehittäjältä, käyttäjältä, itse mallista, mallin ajattelumerkeistä, epäluotettavalta kolmannelta osapuolelta, tietyltä työkalulta...

Tämä on enemmän tai vähemmän 2D-sijaintikoodaus, jossa pystymitta osoittaa kuka ja vaaka osoittaa milloin. Näyttää siltä, että se säästäisi paljon päänsärkyä. Kuvittele, jos kaikkien ääni, mukaan lukien oma ja sisäinen monologisi, kuulostaisi täsmälleen samalta.

@wokohomo @Theurgistic Tämä on enemmän tai vähemmän koko tokenisaattorin tarkoitus – muuten harjoittelisit aina suoraan raakojen tavujen yksinkertaisella lineaarisella projektiolla.