قال لوكاش كايزر (@OpenAI) إنه من ناحية ما يشعر أن التدريب المسبق قد وصل إلى الجزء العلوي من منحنى S. ومع ذلك، هذا لا يعني أن توسيع نطاق التدريب المسبق توقف عن العمل. في الواقع، يعمل تماما كما هو متوقع، ومختبرات مثل OpenAI وGoogle وغيرها، جميعها تلاحظ أن الفقد ينخفض تقريبا بشكل لوغاريتمي مع إضافة المزيد من الحوسبة. المشكلة هي كم المال الذي يجب أن تضخه مقابل المكاسب التي تحصل عليها، وعلى الرغم من أن المبالغ ضخمة، إلا أن الناس ما زالوا يستثمرون. على النقيض من ذلك، في نموذج "التفكير" يمكنك تحقيق تقدم أكثر وضوحا بنفس التكلفة، لأن التفكير لا يزال في الجزء السفلي من منحنى S. لذا لم ينتهي التدريب المسبق بعد. قال إننا ببساطة وجدنا نموذجا جديدا يحقق تقدما أكثر إثارة للإعجاب بنفس السعر.