În retrospectivă, este greu de crezut că nimeni nu s-a deranjat să implementeze o rețea neuronală multi-strat cu coborâre de gradient stocastic de bază în 1997 pe 3dfx Voodoo, cu câțiva ani înainte chiar de primul GPU Nvidia din 1999. Piesele au fost practic toate acolo pentru un mic LLM.

Dacă ați fi putut arăta că ar putea genera fragmente de engleză validă care nu sunt în datele de antrenament, ar fi putut atrage suficientă atenție din partea lingviștilor computaționali pentru a săpa mai mult. Poate că am fi putut ajunge la nivelul GPT-3 cu ani mai devreme, chiar dacă ar fi fost de 100 de ori mai mult $/token

Am cumpărat exact acea carte în 1998 și am folosit-o pentru a juca GLQuake. Mi-aș fi dorit să fi folosit acel timp pentru a învăța mai multă algebră liniară și C++, pentru că eram deja interesat de rețelele neuronale la acea vreme. Este greu de amintit cât de demodate erau metodele "conexioniste" la acea vreme.