Rückblickend ist es schwer zu glauben, dass niemand 1997 auf der 3dfx Voodoo ein mehrschichtiges neuronales Netzwerk mit grundlegenden stochastischen Gradientenabstieg implementiert hat, ein paar Jahre bevor sogar Nvidias erste GPU 1999 herauskam. Die Teile waren im Grunde genommen alle vorhanden für ein kleines LLM.

Wenn du hättest zeigen können, dass es Snippets von gültigem Englisch generieren kann, die nicht in den Trainingsdaten enthalten sind, hätte das vielleicht genug Aufmerksamkeit von den Computerlinguisten auf sich gezogen, um tiefer zu graben. Vielleicht hätten wir Jahre früher auf das Niveau von GPT-3 kommen können, selbst wenn es 100x mehr $/Token gekostet hätte.

Ich habe genau diese Karte 1998 gekauft und sie verwendet, um GLQuake zu spielen. Ich wünschte, ich hätte stattdessen die Zeit genutzt, um mehr über lineare Algebra und C++ zu lernen, denn ich war damals bereits an neuronalen Netzen interessiert. Es ist schwer zu erinnern, wie aus der Mode gekommen die "connectionistischen" Methoden damals waren.