dlaczego nie wstępnie trenujemy modele do zadań agentowych? cóż, ci goście to zrobili. i to zadziałało. wprowadzili krok pośredni po wstępnym treningu i przed treningiem końcowym. zsyntetyzowali dane dotyczące działań agentów, a ich model AgentFounder-30B ustanawia nowy SOTA w 10 benchmarkach. SFT ma również znacznie mniejszą stratę po tym kroku wstępnego treningu agentowego. dlaczego to działa? ponieważ modele podstawowe ogólnego przeznaczenia zazwyczaj nie mają agentowego indukcyjnego biasu, co obciąża trening końcowy. gdy wprowadzasz wieloetapowe rozumowanie i użycie narzędzi na etapie wstępnego treningu, ułatwiasz drogę do treningu końcowego, zwłaszcza gdy robisz to z mieszanką krótkoterminowych i długoterminowych zadań agentowych. co to oznacza, jeśli prowadzisz swoją firmę na agentach lub budujesz je na jakąkolwiek skalę? możesz syntetyzować dane po niskich kosztach, dalej wstępnie trenować model podstawowy, a następnie go trenować końcowo.