Acompanhamento interessante ao nosso trabalho com o Atari Físico. As pessoas que apenas usaram RL com ambientes simulados rápidos e simples subestimam vastamente a complexidade do mundo real; acabam desenvolvendo objetivos de pesquisa que não podem ser alcançados em ambientes complexos (por exemplo, generalização zero-shot, aprendizado de modelos causais). O Atari Físico ainda é um ambiente extremamente simples e, no entanto, é suficiente para destacar as limitações dos métodos que foram desenvolvidos para aprendizado com simulações rápidas. Os humanos e os animais aprendem em ambientes que são ordens de magnitude mais complexos do que o Atari Físico. Desenvolver algoritmos que possam fazer o mesmo deve ser o objetivo se quisermos uma inteligência abundante.

Estou agradavelmente surpreendido com Ilya. Ele identificou alguns aspectos-chave da inteligência que estão amplamente ausentes no discurso popular sobre IA. Estes são: 1. A inteligência é sobre a capacidade de aprender e não sobre saber muitas coisas. O objetivo certo é um sistema que possa aprender com a experiência em implementação. 2. Uma função de valor é necessária para um aprendizado eficiente em amostras semelhante ao humano. Ela pode fornecer feedback denso (aprendizado TD) na ausência de recompensa. Ambos são essenciais e viáveis. Um gargalo chave é que não temos algoritmos que possam aprender de forma confiável usando quantidades semelhantes de computação que a inferência. Algoritmos desse tipo são necessários se quisermos aprender continuamente. Acho que estamos perto. Apenas não temos pessoas suficientes trabalhando para encontrar esses algoritmos. Também estou contente que Ilya reconheceu que para avançar precisamos de mais ideias e não apenas de mais computação. Eu prevejo que as principais melhorias algorítmicas podem ser feitas com uma quantidade relativamente pequena de computação. Um punhado de GPUs com muitos núcleos CUDA (5090s ou melhores) por pessoa, ou alguns CPUs multicore de última geração (9995 WX ou melhores) por pessoa, são suficientes para encontrar o algoritmo certo. Demonstrações em grande escala só seriam importantes para convencer o resto do mundo de que você encontrou a receita certa para aprender. *Os Tensor Cores não são flexíveis o suficiente para tentar novas ideias rapidamente.