Terugkijkend is het moeilijk te geloven dat niemand zich de moeite heeft genomen om een multi-layer neuraal netwerk met basis stochastic gradient descent te implementeren in 1997 op de 3dfx Voodoo, een paar jaar voordat zelfs Nvidia's eerste GPU in 1999 uitkwam. De onderdelen waren in wezen allemaal aanwezig voor een kleine LLM.

Als je had kunnen laten zien dat het snippets van geldige Engelse zinnen kon genereren die niet in de trainingsdata stonden, zou dat misschien genoeg aandacht van de computationele taalkundigen hebben getrokken om dieper in te gaan. Misschien hadden we jaren eerder output op GPT-3-niveau kunnen krijgen, zelfs als het 100x meer $/token was.

Ik kocht die exacte kaart in 1998 en gebruikte hem om GLQuake te spelen. Had ik die tijd maar gebruikt om meer lineaire algebra en C++ te leren, want ik was destijds al geïnteresseerd in neurale netwerken. Het is moeilijk te herinneren hoe uit de mode "connectionistische" methoden toen waren.