Ik ben aangenaam verrast door Ilya. Hij heeft enkele belangrijke aspecten van intelligentie geïdentificeerd die grotendeels ontbreken in de populaire AI-discussie. Dit zijn: 1. Intelligentie gaat over het vermogen om te leren en niet over het weten van veel dingen. Het juiste doel is een systeem dat kan leren van ervaring in gebruik. 2. Een waarde functie is nodig voor mensachtige sample-efficiënte leerprocessen. Het kan dichte feedback (TD-leren) bieden in de afwezigheid van beloning. Beide zijn essentieel en haalbaar. Een belangrijke bottleneck is dat we geen algoritmen hebben die betrouwbaar kunnen leren met vergelijkbare hoeveelheden rekencapaciteit als inferentie. Dergelijke algoritmen zijn nodig als we continu willen leren. Ik denk dat we dichtbij zijn. We hebben alleen niet genoeg mensen die werken aan het vinden van deze algoritmen. Ik ben ook blij dat Ilya erkende dat we meer ideeën nodig hebben om vooruitgang te boeken en niet alleen meer rekencapaciteit. Ik zou voorspellen dat de belangrijkste algoritmische verbeteringen kunnen worden gemaakt met een relatief kleine hoeveelheid rekencapaciteit. Een handvol GPU's met veel CUDA-kernen (5090's of beter) per persoon, of een paar state-of-the-art multicore CPU's (9995 WX of beter) per persoon, zijn genoeg om het juiste algoritme te vinden. Grootschalige demonstraties zouden alleen belangrijk zijn om de rest van de wereld te overtuigen dat je het juiste recept voor leren hebt gevonden. *Tensor Cores zijn niet flexibel genoeg om snel nieuwe ideeën uit te proberen.