Łukasz Kaiser(@OpenAI) disse que, de certa forma, o pré-treinamento parece ter alcançado a parte superior da curva S. No entanto, isso não significa que aumentar o pré-treinamento deixou de funcionar. Na verdade, funciona completamente como esperado, e laboratórios como OpenAI e Google, assim como outros, estão todos observando que a perda diminui aproximadamente de forma logarítmica à medida que você adiciona mais computação. O problema é quanto dinheiro você tem que investir para os ganhos que obtém, e mesmo que os valores sejam enormes, as pessoas ainda estão investindo. Em contraste, no paradigma de “raciocínio”, você pode obter um progresso muito mais impressionante pelo mesmo custo, porque o raciocínio ainda está na parte inferior da curva S. Portanto, o pré-treinamento não esfriou. Ele disse que simplesmente encontramos um novo paradigma que oferece um progresso muito mais notável pelo mesmo preço.