Лукаш Кайзер (@OpenAI) зазначив, що в певному сенсі передпідготовка відчувається так, ніби вона досягла верхньої частини S-кривої. Однак це не означає, що масштабування попереднього навчання перестало працювати. Насправді все працює повністю так, як очікувалося, і лабораторії, такі як OpenAI, Google, а також інші, помічають, що втрати зменшуються приблизно лог-лінійно, коли ви додаєте більше обчислювальної обчислення. Проблема в тому, скільки грошей потрібно вкладати у отримання прибутку, і навіть якщо суми величезні, люди все одно інвестують. Натомість у парадигмі «мислення» можна досягти набагато більш вражаючого прогресу за ту ж ціну, бо міркування все ще знаходиться в нижній частині S-кривої. Тож передпідготовка не згасла. Він сказав, що ми просто знайшли нову парадигму, яка забезпечує набагато більш вражаючий прогрес за ту ж ціну.