Łukasz Kaiser (@OpenAI) mengatakan bahwa dalam arti tertentu pra-pelatihan terasa seperti telah mencapai bagian atas kurva-S. Namun, ini tidak berarti bahwa peningkatan prapelatihan telah berhenti bekerja. Faktanya, ini bekerja sepenuhnya seperti yang diharapkan, dan laboratorium seperti OpenAI dan Google, serta lainnya, semuanya mengamati bahwa kehilangan menurun secara log-linier saat Anda menambahkan lebih banyak komputasi. Masalahnya adalah berapa banyak uang yang harus Anda tuangkan untuk keuntungan yang Anda dapatkan, dan meskipun jumlahnya sangat besar, orang masih berinvestasi. Sebaliknya, dalam paradigma "penalaran" Anda bisa mendapatkan kemajuan yang jauh lebih mencolok dengan biaya yang sama, karena penalaran masih berada di bagian bawah kurva-S. Jadi prapelatihan belum gagal. Dia mengatakan bahwa kita baru saja menemukan paradigma baru yang memberikan kemajuan yang jauh lebih luar biasa dengan harga yang sama.