对我们物理Atari工作的很好的后续。 只在快速和简单的模拟环境中使用强化学习的人，往往低估了现实世界的复杂性；他们最终会制定在复杂环境中无法实现的研究目标（例如，零样本泛化、学习因果模型）。 物理Atari仍然是一个极其简单的环境，但它足以突出为快速模拟学习而开发的方法的局限性。 人类和动物在比物理Atari复杂得多的环境中学习。如果我们想要丰富的智能，开发能够做到这一点的算法应该是目标。

我对伊利亚感到惊喜。他识别出了一些在流行的AI话语中基本缺失的智能关键方面。这些是： 1. 智能是学习的能力，而不是知道很多事情。正确的目标是一个能够从部署经验中学习的系统。 2. 需要一个价值函数来实现类人样本高效学习。它可以在没有奖励的情况下提供密集反馈（时间差学习）。 这两者都是必不可少且可行的。一个关键瓶颈是我们没有能够在与推理相似的计算量下可靠学习的算法。如果我们要持续学习，就需要这样的算法。我认为我们已经接近了。我们只是不够多的人在寻找这些算法。 我也很高兴伊利亚承认，要取得进展，我们需要更多的想法，而不仅仅是更多的计算。我预测，关键的算法改进可以在相对较少的计算量下实现。 每人一小堆具有许多CUDA核心的GPU（5090或更好），或者每人一两颗最先进的多核CPU（9995 WX或更好），就足以找到正确的算法。 大规模演示只对说服世界其他人你找到了正确的学习配方很重要。 *张量核心不够灵活，无法快速尝试新想法。