Patrząc wstecz, trudno uwierzyć, że nikt nie zadał sobie trudu, aby wdrożyć wielowarstwową sieć neuronową z podstawowym stochastycznym spadkiem gradientu w 1997 roku na 3dfx Voodoo, kilka lat przed pierwszym GPU Nvidii w 1999 roku. Elementy były w zasadzie już tam, aby stworzyć mały LLM.

Gdybyś mógł pokazać, że może generować fragmenty poprawnego angielskiego, które nie były w danych treningowych, mogłoby to przyciągnąć wystarczającą uwagę lingwistów komputerowych, aby bardziej się tym zająć. Może moglibyśmy osiągnąć poziom wyjścia GPT-3 lata wcześniej, nawet jeśli kosztowałoby to 100 razy więcej $/token.

Kupiłem tę samą kartę w 1998 roku i używałem jej do grania w GLQuake. Żałuję, że zamiast tego nie poświęciłem czasu na naukę bardziej zaawansowanej algebry liniowej i C++, ponieważ już wtedy interesowałem się sieciami neuronowymi. Trudno sobie przypomnieć, jak bardzo "metody koneksjonistyczne" były wówczas niemodne.