Je suis agréablement surpris par Ilya. Il a identifié certains aspects clés de l'intelligence qui sont largement absents du discours populaire sur l'IA. Ceux-ci sont : 1. L'intelligence concerne la capacité d'apprendre et non le fait de connaître beaucoup de choses. L'objectif correct est un système capable d'apprendre de l'expérience en déploiement. 2. Une fonction de valeur est nécessaire pour un apprentissage efficace en échantillons semblable à celui des humains. Elle peut fournir un retour dense (apprentissage TD) en l'absence de récompense. Ces deux éléments sont essentiels et réalisables. Un goulot d'étranglement clé est que nous n'avons pas d'algorithmes capables d'apprendre de manière fiable en utilisant des quantités de calcul similaires à celles de l'inférence. De tels algorithmes sont nécessaires si nous voulons apprendre de manière continue. Je pense que nous sommes proches. Nous n'avons tout simplement pas assez de personnes travaillant à la recherche de ces algorithmes. Je suis également heureux qu'Ilya ait reconnu que pour progresser, nous avons besoin de plus d'idées et pas seulement de plus de calcul. Je prédis que les améliorations algorithmiques clés peuvent être réalisées avec une quantité relativement petite de calcul. Une poignée de GPU avec de nombreux cœurs CUDA (5090 ou mieux) par personne, ou quelques CPU multicœurs à la pointe de la technologie (9995 WX ou mieux) par personne, suffisent pour trouver le bon algorithme. Des démonstrations à grande échelle ne seraient importantes que pour convaincre le reste du monde que vous avez trouvé la bonne recette pour apprendre. *Les Tensor Cores ne sont pas assez flexibles pour essayer rapidement de nouvelles idées.