Badacze ML właśnie opracowali nową technikę zespołową. Przewyższa XGBoost, CatBoost i LightGBM. Przez lata gradient boosting był preferowanym rozwiązaniem w uczeniu tabelarycznym. Już nie. TabM to efektywna parametrowo technika zespołowa, która daje ci: - Szybkość MLP - Dokładność GBDT Oto jak to działa: W tabelarnym ML zawsze musieliśmy wybierać między szybkością a dokładnością. MLP są szybkie, ale mają słabe wyniki. Głębokie zespoły są dokładne, ale rozbudowane. Transformatory są potężne, ale niepraktyczne dla większości tabel. TabM rozwiązuje to dzięki prostemu spostrzeżeniu: (odnieś się do obrazu poniżej, gdy czytasz dalej) Zamiast trenować 32 oddzielne MLP, używa jednego wspólnego modelu z lekkim adapterem. Ta mała zmiana daje ci korzyści z zespołowości bez kosztów związanych z trenowaniem wielu sieci. Wyniki: W porównaniu do 15+ modeli i 46 zbiorów danych, TabM zajęło średnio 1.7 - przed XGBoost, CatBoost i LightGBM. Złożone modele, takie jak FT Transformer i SAINT, zajęły znacznie niższe miejsca, mimo że były droższe w treningu. Podzieliłem się pracą badawczą i benchmarkami w następnym tweecie.

Artykuł badawczy →