Łukasz Kaiser(@OpenAI)表示，从某种意义上说，预训练似乎已经达到了S曲线的上部。 然而，这并不意味着扩大预训练的规模已经停止工作。事实上，它的工作完全如预期一样，像OpenAI和谷歌这样的实验室，以及其他实验室，都观察到随着计算能力的增加，损失大致以对数线性方式减少。 问题在于你需要投入多少资金才能获得收益，尽管金额巨大，人们仍在投资。 相比之下，在“推理”范式中，你可以以相同的成本获得更显著的进展，因为推理仍处于S曲线的下部。 所以预训练并没有消失。他表示，我们只是找到了一个新的范式，可以以相同的价格提供更显著的进展。