Mengapa kita tidak melatih model terlebih dahulu untuk tugas agen? Nah, orang-orang ini melakukannya. dan itu berhasil. Mereka memperkenalkan langkah menengah setelah pra-pelatihan dan sebelum pasca-pelatihan. mereka mensintesis data tindakan agen dan model AgentFounder-30B mereka menetapkan SOTA baru pada 10 tolok ukur. SFT juga memiliki kerugian yang jauh lebih kecil setelah langkah Pra-pelatihan Berkelanjutan Agen ini. Mengapa ini berhasil? Karena model dasar tujuan umum biasanya tidak memiliki bias induktif agen, menempatkan burdon pada pasca-pelatihan. Ketika Anda memperkenalkan penalaran multi-langkah dan penggunaan alat dalam tahap pra-pelatihan, Anda memudahkan jalan untuk pasca-pelatihan, terutama ketika Anda melakukannya dengan campuran tugas agen cakrawala pendek dan panjang. Jadi apa artinya ini jika Anda menjalankan bisnis Anda pada agen atau membangunnya dalam skala apa pun? Anda dapat mensintesis data dengan biaya rendah, melatih model dasar lebih lanjut, dan kemudian melatihnya.