Łukasz Kaiser (@OpenAI) sanoi, että jossain mielessä esiharjoittelu tuntuu siltä kuin se olisi saavuttanut S-käyrän yläosan. Tämä ei kuitenkaan tarkoita, että esikoulutuksen skaalaaminen olisi lakannut toimimasta. Itse asiassa se toimii täysin odotetusti, ja laboratoriot kuten OpenAI ja Google sekä muut havaitsevat, että häviö vähenee suunnilleen logarittaisesti lineaarisesti sitä mukaa kun laskentatehoa lisätään. Ongelma on siinä, kuinka paljon rahaa täytyy sijoittaa saamiesi voittojen vuoksi, ja vaikka summat ovat valtavat, ihmiset silti sijoittavat. Sen sijaan "päättely"-paradigmassa voi saada paljon enemmän huomiota herättävää edistystä samalla kustannuksella, koska päättely on edelleen S-käyrän alemmassa osassa. Joten esikoulutus ei ole hiipunut. Hän sanoi, että olemme yksinkertaisesti löytäneet uuden paradigman, joka tuo paljon merkittävämpää edistystä samalla hinnalla.