Coole follow-up op ons Physical Atari werk. Mensen die alleen RL hebben gebruikt met snelle en eenvoudige gesimuleerde omgevingen onderschatten enorm de complexiteit van de echte wereld; ze eindigen met onderzoeksdoelen die niet kunnen worden bereikt in complexe omgevingen (bijv. zero-shot generalisatie, leren van causale modellen). Physical Atari is nog steeds een extreem eenvoudige omgeving en toch is het genoeg om de beperkingen van methoden die zijn ontwikkeld voor leren met snelle simulaties te benadrukken. Mensen en dieren leren in omgevingen die een orde van grootte complexer zijn dan Physical Atari. Het ontwikkelen van algoritmen die hetzelfde kunnen doen, zou het doel moeten zijn als we overvloedige intelligentie willen.

Ik ben aangenaam verrast door Ilya. Hij heeft enkele belangrijke aspecten van intelligentie geïdentificeerd die grotendeels ontbreken in de populaire AI-discussie. Dit zijn: 1. Intelligentie gaat over het vermogen om te leren en niet over het weten van veel dingen. Het juiste doel is een systeem dat kan leren van ervaring in gebruik. 2. Een waarde functie is nodig voor mensachtige sample-efficiënte leerprocessen. Het kan dichte feedback (TD-leren) bieden in de afwezigheid van beloning. Beide zijn essentieel en haalbaar. Een belangrijke bottleneck is dat we geen algoritmen hebben die betrouwbaar kunnen leren met vergelijkbare hoeveelheden rekencapaciteit als inferentie. Dergelijke algoritmen zijn nodig als we continu willen leren. Ik denk dat we dichtbij zijn. We hebben alleen niet genoeg mensen die werken aan het vinden van deze algoritmen. Ik ben ook blij dat Ilya erkende dat we meer ideeën nodig hebben om vooruitgang te boeken en niet alleen meer rekencapaciteit. Ik zou voorspellen dat de belangrijkste algoritmische verbeteringen kunnen worden gemaakt met een relatief kleine hoeveelheid rekencapaciteit. Een handvol GPU's met veel CUDA-kernen (5090's of beter) per persoon, of een paar state-of-the-art multicore CPU's (9995 WX of beter) per persoon, zijn genoeg om het juiste algoritme te vinden. Grootschalige demonstraties zouden alleen belangrijk zijn om de rest van de wereld te overtuigen dat je het juiste recept voor leren hebt gevonden. *Tensor Cores zijn niet flexibel genoeg om snel nieuwe ideeën uit te proberen.