回想起來，真難以相信在1997年，沒有人在3dfx Voodoo上實現一個多層神經網絡，使用基本的隨機梯度下降，這比Nvidia在1999年推出的第一款GPU還早了幾年。當時幾乎所有的要素都已經具備，可以用來構建一個小型的LLM。

如果你能展示出它能生成訓練數據中不存在的有效英語片段，那可能會引起計算語言學家的足夠關注，讓他們更深入研究。也許我們幾年前就能達到GPT-3級別的輸出，即使那時每個token的成本是100倍。

我在1998年買了那張卡，並用它來玩GLQuake。真希望我當時能用那段時間學習更多的線性代數和C++，因為我當時已經對神經網絡感興趣。很難記得當時“連結主義”方法是多麼不流行。