我对伊利亚感到惊喜。他识别出了一些在流行的AI话语中基本缺失的智能关键方面。这些是: 1. 智能是学习的能力,而不是知道很多事情。正确的目标是一个能够从部署经验中学习的系统。 2. 需要一个价值函数来实现类人样本高效学习。它可以在没有奖励的情况下提供密集反馈(时间差学习)。 这两者都是必不可少且可行的。一个关键瓶颈是我们没有能够在与推理相似的计算量下可靠学习的算法。如果我们要持续学习,就需要这样的算法。我认为我们已经接近了。我们只是不够多的人在寻找这些算法。 我也很高兴伊利亚承认,要取得进展,我们需要更多的想法,而不仅仅是更多的计算。我预测,关键的算法改进可以在相对较少的计算量下实现。 每人一小堆具有许多CUDA核心的GPU(5090或更好),或者每人一两颗最先进的多核CPU(9995 WX或更好),就足以找到正确的算法。 大规模演示只对说服世界其他人你找到了正确的学习配方很重要。 *张量核心不够灵活,无法快速尝试新想法。