Em retrospecto, é difícil acreditar que ninguém se preocupou em implementar uma rede neural multicamada com gradiente descendente estocástico básico em 1997 no 3dfx Voodoo, alguns anos antes mesmo da primeira GPU da Nvidia em 1999. As peças estavam basicamente todas lá para um pequeno LLM.

Se você pudesse ter mostrado que ele poderia gerar trechos de inglês válido que não estavam nos dados de treinamento, isso poderia ter recebido atenção suficiente dos linguistas computacionais para se aprofundar mais. Talvez pudéssemos ter chegado ao nível de saída GPT-3 anos antes, mesmo que fosse 100x mais $/token

Comprei exatamente esse cartão em 1998 e usei-o para jogar GLQuake. Gostaria de ter usado esse tempo para aprender mais álgebra linear e C ++, porque eu já estava interessado em redes neurais na época. É difícil lembrar o quão fora de moda os métodos "conexionistas" estavam na época.