Hieno jatko-osa fyysiselle Atari-työllemme. Ihmiset, jotka ovat käyttäneet RL:ää vain nopeissa ja yksinkertaisissa simuloiduissa ympäristöissä, aliarvioivat todellisen maailman monimutkaisuuden huomattavasti; He päätyvät kehittämään tutkimustavoitteita, joita ei voida saavuttaa monimutkaisissa ympäristöissä (esim. nollalaukauksen yleistys, kausaalisten mallien oppiminen). Fyysinen Atari on edelleen erittäin yksinkertainen ympäristö, mutta se riittää korostamaan nopeiden simulaatioiden oppimismenetelmien rajoituksia. Ihmiset ja eläimet oppivat ympäristöissä, jotka ovat moninkertaisesti monimutkaisempia kuin fyysinen Atari. Algoritmien kehittäminen, jotka pystyvät samaan tarkoitukseen, tulisi olla tavoite, jos haluamme runsasta älykkyyttä.

Olen iloisesti yllättynyt Ilyasta. Hän on tunnistanut joitakin älykkyyden keskeisiä piirteitä, jotka ovat suurelta osin poissa suositusta tekoälykeskustelusta. Nämä ovat: 1. Älykkyys tarkoittaa oppimiskykyä, ei monien asioiden tietämistä. Oikea tavoite on järjestelmä, joka voi oppia käyttöönoton kokemuksesta. 2. Ihmismäiseen otostehokkaaseen oppimiseen tarvitaan arvofunktio. Se voi tarjota tiheää palautetta (TD-oppiminen) ilman palkintoa. Molemmat ovat välttämättömiä ja toteutettavissa. Keskeinen pullonkaula on, ettei meillä ole algoritmeja, jotka pystyisivät oppimaan luotettavasti käyttäen samanlaisia määriä laskentaa kuin päättely. Tällaisia algoritmeja tarvitaan, jos haluamme oppia jatkuvasti. Luulen, että olemme lähellä. Meillä ei yksinkertaisesti ole tarpeeksi ihmisiä etsimässä näitä algoritmeja. Olen myös iloinen, että Ilya myönsi, että edistymiseen tarvitaan enemmän ideoita, ei pelkkää laskentaa. Ennustaisin, että keskeiset algoritmiset parannukset voidaan tehdä suhteellisen pienellä laskentamäärällä. Muutama GPU, jossa on useita CUDA-ytimiä (5090 tai parempia) per henkilö, tai pari huippumodernia moniydinprosessoria (9995 WX tai parempi) per henkilö, riittää löytämään oikean algoritmin. Laajamittaiset demonstraatiot olisivat tärkeitä vain vakuuttaaksesi muun maailman siitä, että olet löytänyt oikean reseptin oppimiseen. *Tensoriytimet eivät ole tarpeeksi joustavia uusien ideoiden nopeaan kokeiluun.