Miksi emme esikouluta malleja agenttitehtäviin? no, nämä kaverit tekivät niin. Ja se toimi. He ottivat käyttöön välivaiheen esikoulutuksen jälkeen ja ennen koulutusta. he syntetisoivat agenttien toimintatietoja ja heidän AgentFounder-30B-mallinsa asettaa uuden SOTAn 10 vertailuarvoon. SFT:llä on myös huomattavasti pienempi tappio tämän Agentic Continual Pre-training -vaiheen jälkeen. Miksi tämä toimii? Koska yleiskäyttöisissä perusmalleissa ei yleensä ole agenttista induktiivista harhaa, mikä asettaa Burdonin koulutuksen jälkeiseen harjoitteluun. Kun otat käyttöön monivaiheisen päättelyn ja työkalujen käytön koulutusta edeltävässä vaiheessa, helpotat tietä jälkikoulutukseen, varsinkin kun teet sen lyhyen ja pitkän aikavälin agenttitehtävien yhdistelmällä. Mitä tämä tarkoittaa, jos johdat liiketoimintaasi agenteilla tai rakennat niitä missä tahansa mittakaavassa? Voit syntetisoida tietoja edullisesti, esikouluttaa perusmallin edelleen ja sitten kouluttaa sen jälkikäteen.