Uma continuação legal do nosso trabalho físico com Atari. Pessoas que só usaram RL em ambientes simulados rápidos e simples subestimam enormemente a complexidade do mundo real; Eles acabam desenvolvendo objetivos de pesquisa que não podem ser alcançados em ambientes complexos (por exemplo, generalização zero-shot, aprendizado de modelos causais). O Atari físico ainda é um ambiente extremamente simples e, ainda assim, é suficiente para destacar as limitações dos métodos desenvolvidos para aprender com simulações rápidas. Humanos e animais aprendem em ambientes que são ordens de magnitude mais complexos do que o Atari físico. Desenvolver algoritmos que possam fazer o mesmo deveria ser o objetivo se quisermos inteligência abundante.

Estou agradavelmente surpreso com Ilya. Ele identificou alguns aspectos-chave da inteligência que estão amplamente ausentes do discurso popular sobre IA. São eles: 1. Inteligência é sobre a capacidade de aprender e não sobre saber muitas coisas. O objetivo certo é um sistema que possa aprender com a experiência em implantação. 2. Uma função de valor é necessária para um aprendizado eficiente em amostras, semelhante ao humano. Pode fornecer feedback denso (aprendizagem TD) na ausência de recompensa. Ambos são essenciais e possíveis. Um gargalo chave é que não temos algoritmos que possam aprender de forma confiável usando quantidades semelhantes de computação como inferência. Tais algoritmos são necessários para que quisermos aprender continuamente. Acho que estamos perto. Simplesmente não temos pessoas suficientes trabalhando para encontrar esses algoritmos. Também fico feliz que Ilya tenha reconhecido que, para progredir, precisamos de mais ideias e não apenas mais computação. Eu prevejo que as principais melhorias algorítmicas podem ser feitas com uma quantidade relativamente pequena de computação. Um punhado de GPUs com muitos núcleos CUDA (5090s ou melhores) por pessoa, ou algumas CPUs multicore de última geração (9995 WX ou melhor) por pessoa, são suficientes para encontrar o algoritmo certo. Demonstrações em grande escala só seriam importantes para convencer o resto do mundo de que você encontrou a receita certa para aprender. *Núcleos Tensoriais não são flexíveis o suficiente para testar novas ideias rapidamente.