Łukasz Kaiser(@OpenAI) dijo que, en cierto sentido, el preentrenamiento parece haber alcanzado la parte superior de la curva S. Sin embargo, esto no significa que escalar el preentrenamiento haya dejado de funcionar. De hecho, funciona completamente como se esperaba, y laboratorios como OpenAI y Google, así como otros, están observando que la pérdida disminuye aproximadamente de manera logarítmica a medida que se añade más capacidad de cómputo. El problema es cuánto dinero tienes que invertir para las ganancias que obtienes, y aunque las cantidades son enormes, la gente sigue invirtiendo. Por el contrario, en el paradigma de "razonamiento" puedes obtener un progreso mucho más notable por el mismo costo, porque el razonamiento todavía está en la parte inferior de la curva S. Así que el preentrenamiento no se ha desvanecido. Dijo que simplemente hemos encontrado un nuevo paradigma que ofrece un progreso mucho más notable por el mismo precio.