Peneliti ML baru saja membangun teknik ansambel baru. Ini mengungguli XGBoost, CatBoost, dan LightGBM. Selama bertahun-tahun, peningkatan gradien telah menjadi pilihan untuk pembelajaran tabel. Tidak lagi. TabM adalah ansambel efisien parameter yang memberi Anda: - Kecepatan MLP - Keakuratan GBDT Begini cara kerjanya: Dalam ML tabel, kami selalu harus memilih antara kecepatan dan akurasi. MLP cepat tetapi berkinerja buruk. Ansambel yang dalam akurat tetapi membengkak. Trafo kuat tetapi tidak praktis untuk sebagian besar meja. TabM memecahkannya dengan wawasan sederhana: (lihat gambar di bawah ini saat Anda membaca ke depan) Alih-alih melatih 32 MLP terpisah, ia menggunakan satu model bersama dengan adaptor ringan. Penyesuaian kecil ini memberi Anda manfaat merakit tanpa biaya pelatihan beberapa jaringan. Hasilnya: Terhadap 15+ model dan 46 kumpulan data, TabM menempati peringkat rata-rata 1,7—di depan XGBoost, CatBoost, dan LightGBM. Model kompleks seperti FT Transformer dan SAINT berperingkat jauh lebih rendah meskipun lebih mahal untuk dilatih. Saya telah membagikan makalah penelitian dan tolok ukur di tweet berikutnya.

Makalah penelitian →