O continuare interesantă a muncii noastre fizice pe Atari. Oamenii care au folosit RL doar cu medii simulate rapide și simple subestimează enorm complexitatea lumii reale; ajung să dezvolte obiective de cercetare care nu pot fi atinse în medii complexe (de exemplu, generalizarea zero-shot, învățarea modelelor cauzale). Atari fizic rămâne un mediu extrem de simplu și totuși este suficient pentru a evidenția limitările metodelor dezvoltate pentru învățarea cu simulări rapide. Oamenii și animalele învață în medii cu ordine de mărime mai complexe decât Atari-ul fizic. Dezvoltarea de algoritmi care pot face același lucru ar trebui să fie scopul dacă vrem inteligență abundentă.

Sunt plăcut surprins de Ilya. El a identificat unele aspecte cheie ale inteligenței care lipsesc în mare parte din discursul popular despre AI. Acestea sunt: 1. Inteligența ține de abilitatea de a învăța și nu de a cunoaște multe lucruri. Scopul corect este un sistem care să poată învăța din experiența în implementare. 2. Este necesară o funcție de valoare pentru învățarea cu eficiență a eșantionului, asemănătoare oamenilor. Poate oferi feedback dens (învățare TD) în absența unei recompense. Ambele sunt esențiale și realizabile. Un blocaj cheie este că nu avem algoritmi care să poată învăța fiabil folosind cantități similare de calcul ca inferență. Astfel de algoritmi sunt necesari dacă vrem să învățăm continuu. Cred că suntem aproape. Pur și simplu nu avem suficienți oameni care să lucreze la găsirea acestor algoritmi. De asemenea, mă bucur că Ilya a recunoscut că pentru a progresa avem nevoie de mai multe idei și nu doar de mai mult calcul. Aș prezice că îmbunătățirile algoritmice cheie pot fi realizate cu o cantitate relativ mică de calcul. Câteva GPU-uri cu multe nuclee CUDA (5090 sau mai bune) de fiecare persoană, sau câteva procesoare multicore de ultimă generație (9995 WX sau mai mult) de fiecare persoană, sunt suficiente pentru a găsi algoritmul potrivit. Demonstrațiile la scară largă ar fi importante doar pentru a convinge restul lumii că ai găsit rețeta potrivită pentru învățare. *Tensor Cores nu sunt suficient de flexibili pentru a încerca idei noi rapid.