Łukasz Kaiser(@OpenAI) 說，在某種意義上，預訓練感覺已經達到了 S 曲線的上部。 然而，這並不意味著擴大預訓練的工作已經停止。事實上，它的運作完全如預期，像 OpenAI 和 Google 這樣的實驗室，以及其他實驗室，都觀察到隨著計算能力的增加，損失大約以對數線性方式減少。 問題在於你需要投入多少資金來獲得你所得到的收益，即使這些金額是巨大的，人們仍然在投資。 相比之下，在“推理”範式中，你可以以相同的成本獲得更顯著的進展，因為推理仍然處於 S 曲線的下部。 所以預訓練並沒有消失。他說，我們只是找到了新的範式，能以相同的價格提供更顯著的進展。