Чому б нам не підготувати моделі для агентських завдань? Що ж, ці хлопці це зробили. І це спрацювало. Вони вводили проміжний етап після передтренувальної підготовки і перед пост-тренінгом. вони синтезували дані про дії агентів, а їхня модель AgentFounder-30B встановлює нову SOTA на 10 бенчмарках. SFT також має значно менші втрати після цього етапу агентичної постійної попередньої підготовки. Чому це працює? Тому що базові моделі загального призначення зазвичай не мають агентного індуктивного упередження, що ставить бурдон на посттренування. Коли ви вводите багатокрокові міркування та використання інструментів на етапі передтренувальної підготовки, ви полегшуєте шлях до посттренінгу, особливо коли ви робите це з поєднанням коротких і довгострокових агентних завдань. Так що ж це означає, якщо ви ведете свій бізнес на агентах або будуєте їх в будь-якому масштабі? Ви можете синтезувати дані з невеликими витратами, додатково попередньо навчати базову модель, а потім тренувати її.