Interesante seguimiento a nuestro trabajo con Atari físico. Las personas que solo han utilizado RL con entornos simulados rápidos y simples subestiman enormemente la complejidad del mundo real; terminan desarrollando objetivos de investigación que no se pueden lograr en entornos complejos (por ejemplo, generalización de cero disparos, aprendizaje de modelos causales). Atari físico sigue siendo un entorno extremadamente simple y, sin embargo, es suficiente para resaltar las limitaciones de los métodos que se desarrollaron para aprender con simulaciones rápidas. Los humanos y los animales aprenden en entornos que son órdenes de magnitud más complejos que Atari físico. Desarrollar algoritmos que puedan hacer lo mismo debería ser el objetivo si queremos una inteligencia abundante.

Me sorprende gratamente Ilya. Ha identificado algunos aspectos clave de la inteligencia que están en gran medida ausentes en el discurso popular sobre la IA. Estos son: 1. La inteligencia se trata de la capacidad de aprender y no de saber muchas cosas. El objetivo correcto es un sistema que pueda aprender de la experiencia en implementación. 2. Se necesita una función de valor para un aprendizaje eficiente en muestras similar al humano. Puede proporcionar retroalimentación densa (aprendizaje TD) en ausencia de recompensa. Ambos son esenciales y factibles. Un cuello de botella clave es que no tenemos algoritmos que puedan aprender de manera confiable utilizando cantidades similares de computación que la inferencia. Se necesitan tales algoritmos si queremos aprender de manera continua. Creo que estamos cerca. Simplemente no tenemos suficientes personas trabajando en encontrar estos algoritmos. También me alegra que Ilya haya reconocido que para avanzar necesitamos más ideas y no solo más computación. Prevería que las mejoras algorítmicas clave se pueden hacer con una cantidad relativamente pequeña de computación. Un puñado de GPUs con muchos núcleos CUDA (5090 o mejor) por persona, o un par de CPUs multicore de última generación (9995 WX o mejor) por persona, son suficientes para encontrar el algoritmo correcto. Las demostraciones a gran escala solo serían importantes para convencer al resto del mundo de que has encontrado la receta correcta para aprender. *Los Tensor Cores no son lo suficientemente flexibles para probar nuevas ideas rápidamente.