Estou agradavelmente surpreendido com Ilya. Ele identificou alguns aspectos-chave da inteligência que estão amplamente ausentes no discurso popular sobre IA. Estes são: 1. A inteligência é sobre a capacidade de aprender e não sobre saber muitas coisas. O objetivo certo é um sistema que possa aprender com a experiência em implementação. 2. Uma função de valor é necessária para um aprendizado eficiente em amostras semelhante ao humano. Ela pode fornecer feedback denso (aprendizado TD) na ausência de recompensa. Ambos são essenciais e viáveis. Um gargalo chave é que não temos algoritmos que possam aprender de forma confiável usando quantidades semelhantes de computação que a inferência. Algoritmos desse tipo são necessários se quisermos aprender continuamente. Acho que estamos perto. Apenas não temos pessoas suficientes trabalhando para encontrar esses algoritmos. Também estou contente que Ilya reconheceu que para avançar precisamos de mais ideias e não apenas de mais computação. Eu prevejo que as principais melhorias algorítmicas podem ser feitas com uma quantidade relativamente pequena de computação. Um punhado de GPUs com muitos núcleos CUDA (5090s ou melhores) por pessoa, ou alguns CPUs multicore de última geração (9995 WX ou melhores) por pessoa, são suficientes para encontrar o algoritmo certo. Demonstrações em grande escala só seriam importantes para convencer o resto do mundo de que você encontrou a receita certa para aprender. *Os Tensor Cores não são flexíveis o suficiente para tentar novas ideias rapidamente.