Łukasz Kaiser (@OpenAI) dijo que, en cierto sentido, el preentrenamiento se siente como si hubiera alcanzado la parte superior de la curva en S. Sin embargo, esto no significa que el aumento del preentrenamiento haya dejado de funcionar. De hecho, funciona completamente como se esperaba, y laboratorios como OpenAI y Google, entre otros, están observando que la pérdida disminuye aproximadamente de forma lineal a medida que se añade más cálculo. El problema es cuánto dinero tienes que invertir para las ganancias que obtienes, y aunque las cantidades sean enormes, la gente sigue invirtiendo. En cambio, en el paradigma de "razonamiento" puedes obtener un progreso mucho más sorprendente por el mismo coste, porque el razonamiento sigue estando en la parte inferior de la curva S. Así que el preentrenamiento no se ha desvanecido. Dijo que simplemente hemos encontrado un nuevo paradigma que ofrece un progreso mucho más notable por el mismo precio.