Při zpětném pohledu je těžké uvěřit, že se nikdo neobtěžoval implementovat vícevrstvou neuronovou síť se základním stochastickým gradientním sestupem již v roce 1997 na 3dfx Voodoo, pár let před prvním GPU Nvidie v roce 1999. Kousky tam byly v podstatě všechny pro malé LLM.

Pokud byste mohli ukázat, že dokáže generovat úryvky platné angličtiny, které nejsou v trénovacích datech, mohlo by to získat dostatečnou pozornost počítačových lingvistů, aby se v tom ponořili více. Možná jsme se mohli dostat na výstup na úrovni GPT-3 o několik let dříve, i když to bylo 100x více $/token

Koupil jsem si přesně tu kartu v roce 1998 a použil ji ke hře GLQuake. Přál bych si, abych místo toho využil tento čas k tomu, abych se naučil více lineární algebry a C++, protože v té době jsem se již zajímal o neuronové sítě. Je těžké si vzpomenout, jak moc byly "konekcionistické" metody v té době mimo módu.