振り返ってみると、1997 年に Nvidia の最初の GPU が 1999 年に登場する数年前、3dfx Voodoo に基本的な確率的勾配降下法を備えた多層ニューラル ネットワークをわざわざ実装する人がいなかったとは信じがたいです。基本的に、小さな LLM のピースはすべてそこにありました。

トレーニングデータにない有効な英語の断片を生成できることを示すことができれば、計算言語学者から十分な注目を集めて、さらに掘り下げることができたかもしれません。たとえトークンあたり 100 倍の $ だったとしても、何年も前に GPT-3 レベルの出力に到達できたかもしれません

私は 1998 年にまさにそのカードを購入し、GLQuake をプレイするために使用しました。その時間を使って、線形代数とC ++をもっと学ぶことができればよかったのに、当時私はすでにニューラルネットに興味を持っていたからです。当時「コネクショニスト」の手法がどれほど流行しなかったかを思い出すのは難しいです。