Łukasz Kaiser(@OpenAI) ha detto che in un certo senso il pre-addestramento sembra aver raggiunto la parte superiore della curva S. Tuttavia, ciò non significa che l'aumento del pre-addestramento abbia smesso di funzionare. Infatti, funziona completamente come previsto, e laboratori come OpenAI e Google, così come altri, stanno tutti osservando che la perdita diminuisce in modo approssimativamente log-lineare man mano che si aggiunge più potenza di calcolo. Il problema è quanto denaro devi investire per i guadagni che ottieni, e anche se le somme sono enormi, le persone continuano a investire. Al contrario, nel paradigma del “ragionamento” puoi ottenere progressi molto più significativi per lo stesso costo, perché il ragionamento è ancora nella parte inferiore della curva S. Quindi il pre-addestramento non è svanito. Ha detto che abbiamo semplicemente trovato un nuovo paradigma che offre progressi molto più notevoli per lo stesso prezzo.