Sunt din ce în ce mai convins că viața reală și tehnici similare sunt doar o redescoperire a modului în care oamenii învață. Gândește-te puțin: În primul rând, un model este pre-antrenat pe un limbaj formal (practic reguli gramaticale fără context) care generează o "subrețea sintactică" în cadrul modelului. Peste această subrețea, "limbajul real" (setul de date internet) este apoi suprapus în antrenamentul real al modelelor (în contextul limbajelor formale, acest lucru se numește practic gramatică nerestricționată) Dar apoi... Așa învață bebelușii umani limbajul, nu? Venim "pre-preantrenați" cu o subrețea sintactică pentru a înțelege forma de bază a limbajului (cadența transferului de informații, proto-gramatică) și apoi "impunem" limbajul pe care îl învățăm peste acesta. Lucruri fascinante!