On outoa, että ennen LLM:iä ei edes spekuloitu laajalti, että korkeaulotteiset vektorit koodaavat käsitteitä, ja niiden suhteellisten sijaintien geometria koodaa merkitystä täysin yleisesti. Luulisi, että se olisi ollut ehdokashypoteesi, jolle annettiin laajalti 30 prosentin todennäköisyys.

@johnmark_taylor Jokaisella, joka ajatteli vuonna 2014, että "syväoppiminen toimii", oli luultavasti tämä oikeus. En vain kuullut tämän yksinkertaisemman, rohkeamman syväoppimisen ydinosan saavan laajaa uskottavuutta keskustelussa.