Классное продолжение нашей работы с Physical Atari. Люди, которые использовали RL только с быстрыми и простыми смоделированными окружениями, сильно недооценивают сложность реального мира; в итоге они разрабатывают исследовательские цели, которые невозможно достичь в сложных условиях (например, нулевое обобщение, обучение причинным моделям). Physical Atari по-прежнему является чрезвычайно простым окружением, и тем не менее, оно достаточно, чтобы подчеркнуть ограничения методов, разработанных для обучения с быстрыми симуляциями. Люди и животные учатся в условиях, которые на порядок сложнее, чем Physical Atari. Разработка алгоритмов, которые могут делать то же самое, должна быть целью, если мы хотим обильного интеллекта.

Я приятно удивлён Ильёй. Он выделил несколько ключевых аспектов интеллекта, которые в значительной степени отсутствуют в популярной дискуссии об ИИ. Это: 1. Интеллект — это способность учиться, а не знание множества вещей. Правильная цель — это система, которая может учиться на опыте в процессе эксплуатации. 2. Для обучения, похожего на человеческое, необходима функция ценности. Она может предоставить плотную обратную связь (обучение с подкреплением) в отсутствие вознаграждения. Оба этих аспекта являются необходимыми и осуществимыми. Ключевым узким местом является то, что у нас нет алгоритмов, которые могут надёжно обучаться, используя аналогичные объёмы вычислений, как при выводе. Такие алгоритмы необходимы, если мы хотим учиться непрерывно. Я думаю, что мы близки. Просто у нас недостаточно людей, работающих над поиском этих алгоритмов. Мне также приятно, что Илья признал, что для достижения прогресса нам нужно больше идей, а не просто больше вычислительных мощностей. Я бы предсказал, что ключевые алгоритмические улучшения могут быть достигнуты с относительно небольшим количеством вычислений. Несколько GPU с множеством CUDA-ядр (5090 или лучше) на человека или пара современных многопроцессорных ЦП (9995 WX или лучше) на человека достаточно, чтобы найти правильный алгоритм. Масштабные демонстрации будут важны только для того, чтобы убедить остальной мир в том, что вы нашли правильный рецепт для обучения. *Tensor Cores недостаточно гибки для быстрого опробования новых идей.