Łukasz Kaiser(@OpenAI) řekl, že v jistém smyslu předtrénink působí, jako by dosáhl horní části S-křivky. To však neznamená, že rozšiřování předškolení přestalo fungovat. Ve skutečnosti to funguje naprosto podle očekávání a laboratoře jako OpenAI a Google, stejně jako další, pozorují, že ztráty klesají přibližně logologickým lineárním tempem, jak přidáváte více výpočetního zatížení. Problém je, kolik peněz musíte vložit do zisků, které získáte, a i když jsou částky obrovské, lidé stále investují. Naopak v paradigmatu "uvažování" můžete dosáhnout mnohem výraznějšího pokroku za stejnou cenu, protože uvažování je stále v dolní části S-křivky. Takže předvýcvik nevyprchal. Řekl, že jsme jednoduše našli nový model, který přináší mnohem pozoruhodnější pokrok za stejnou cenu.