ウカシュ・カイザー(@OpenAI)は、ある意味で事前訓練はS曲線の上部に達したように感じると述べました。 しかし、これはプレトレーニングの拡大が機能しなくなったという意味ではありません。実際、完全に予想通りに動作しており、OpenAIやGoogleなどの研究室は、計算量を増やすほど損失がほぼ対数線形で減少することを観察しています。 問題は、得られる利益を得るためにどれだけの資金を投入しなければならないかであり、たとえ金額が膨大であっても、人々はまだ投資しています。 対照的に、「推論」パラダイムでは、推論がS曲線の下部にあるため、同じコストではるかに顕著な進展が得られます。 つまり、事前研修は消えていなかったのです。彼は、同じ価格ではるかに顕著な進歩をもたらす新しいパラダイムを見つけただけだと述べました。