Suivi intéressant de notre travail sur Physical Atari. Les personnes qui n'ont utilisé le RL qu'avec des environnements simulés rapides et simples sous-estiment largement la complexité du monde réel ; elles finissent par développer des objectifs de recherche qui ne peuvent pas être atteints dans des environnements complexes (par exemple, la généralisation zéro-shot, l'apprentissage de modèles causaux). Physical Atari est encore un environnement extrêmement simple et pourtant il suffit de mettre en évidence les limites des méthodes qui ont été développées pour l'apprentissage avec des simulations rapides. Les humains et les animaux apprennent dans des environnements qui sont des ordres de grandeur plus complexes que Physical Atari. Développer des algorithmes capables de faire de même devrait être l'objectif si nous voulons une intelligence abondante.

Je suis agréablement surpris par Ilya. Il a identifié certains aspects clés de l'intelligence qui sont largement absents du discours populaire sur l'IA. Ceux-ci sont : 1. L'intelligence concerne la capacité d'apprendre et non le fait de connaître beaucoup de choses. L'objectif correct est un système capable d'apprendre de l'expérience en déploiement. 2. Une fonction de valeur est nécessaire pour un apprentissage efficace en échantillons semblable à celui des humains. Elle peut fournir un retour dense (apprentissage TD) en l'absence de récompense. Ces deux éléments sont essentiels et réalisables. Un goulot d'étranglement clé est que nous n'avons pas d'algorithmes capables d'apprendre de manière fiable en utilisant des quantités de calcul similaires à celles de l'inférence. De tels algorithmes sont nécessaires si nous voulons apprendre de manière continue. Je pense que nous sommes proches. Nous n'avons tout simplement pas assez de personnes travaillant à la recherche de ces algorithmes. Je suis également heureux qu'Ilya ait reconnu que pour progresser, nous avons besoin de plus d'idées et pas seulement de plus de calcul. Je prédis que les améliorations algorithmiques clés peuvent être réalisées avec une quantité relativement petite de calcul. Une poignée de GPU avec de nombreux cœurs CUDA (5090 ou mieux) par personne, ou quelques CPU multicœurs à la pointe de la technologie (9995 WX ou mieux) par personne, suffisent pour trouver le bon algorithme. Des démonstrations à grande échelle ne seraient importantes que pour convaincre le reste du monde que vous avez trouvé la bonne recette pour apprendre. *Les Tensor Cores ne sont pas assez flexibles pour essayer rapidement de nouvelles idées.