ML-onderzoekers hebben zojuist een nieuwe ensemble-techniek ontwikkeld. Het presteert beter dan XGBoost, CatBoost en LightGBM. Jarenlang was gradient boosting de standaard voor tabulaire leermethoden. Niet meer. TabM is een parameter-efficiënt ensemble dat je geeft: - De snelheid van een MLP - De nauwkeurigheid van GBDT Zo werkt het: In tabulaire ML moesten we altijd kiezen tussen snelheid en nauwkeurigheid. MLP's zijn snel maar presteren ondermaats. Diepe ensembles zijn nauwkeurig maar omvangrijk. Transformers zijn krachtig maar onpraktisch voor de meeste tabellen. TabM lost dit op met een eenvoudige inzicht: (verwijs naar de afbeelding hieronder terwijl je verder leest) In plaats van 32 aparte MLP's te trainen, gebruikt het één gedeeld model met een lichte adapter. Deze kleine aanpassing geeft je de voordelen van ensembling zonder de kosten van het trainen van meerdere netwerken. De resultaten: Tegen 15+ modellen en 46 datasets, stond TabM gemiddeld op 1.7—voor XGBoost, CatBoost en LightGBM. Complexe modellen zoals FT Transformer en SAINT scoorden veel lager ondanks dat ze duurder waren om te trainen. Ik heb het onderzoeksdocument en de benchmarks in de volgende tweet gedeeld.

Onderzoeksdocument →