Łukasz Kaiser(@OpenAI) zei dat pretraining in zekere zin lijkt te zijn aangekomen bij het bovenste deel van de S-curve. Dit betekent echter niet dat het opschalen van pretraining niet meer werkt. Sterker nog, het werkt volledig zoals verwacht, en laboratoria zoals OpenAI en Google, evenals anderen, observeren allemaal dat het verlies ongeveer log-lineair afneemt naarmate je meer rekencapaciteit toevoegt. Het probleem is hoeveel geld je moet investeren voor de winst die je krijgt, en hoewel de bedragen enorm zijn, blijven mensen investeren. In tegenstelling tot dat kun je in het "redeneren" paradigma veel opvallender vooruitgang boeken voor dezelfde kosten, omdat redeneren zich nog in het lagere deel van de S-curve bevindt. Dus pretraining is niet uitgeblust. Hij zei dat we simpelweg een nieuw paradigma hebben gevonden dat veel opmerkelijkere vooruitgang levert voor dezelfde prijs.