Les chercheurs en ML viennent de créer une nouvelle technique d'ensemble. Elle surpasse XGBoost, CatBoost et LightGBM. Pendant des années, le gradient boosting a été la référence pour l'apprentissage tabulaire. Ce n'est plus le cas. TabM est un ensemble efficace en paramètres qui vous offre : - La rapidité d'un MLP - La précision du GBDT Voici comment cela fonctionne : Dans le ML tabulaire, nous avons toujours dû choisir entre rapidité et précision. Les MLP sont rapides mais sous-performent. Les ensembles profonds sont précis mais encombrants. Les Transformers sont puissants mais peu pratiques pour la plupart des tableaux. TabM résout ce problème avec une simple idée : (faites référence à l'image ci-dessous en continuant votre lecture) Au lieu d'entraîner 32 MLP séparés, il utilise un modèle partagé avec un adaptateur léger. Ce petit ajustement vous donne les avantages de l'assemblage sans le coût d'entraînement de plusieurs réseaux. Les résultats : Contre plus de 15 modèles et 46 ensembles de données, TabM a obtenu en moyenne un classement de 1,7—devant XGBoost, CatBoost et LightGBM. Des modèles complexes comme FT Transformer et SAINT ont obtenu des classements beaucoup plus bas malgré un coût d'entraînement plus élevé. J'ai partagé le document de recherche et les benchmarks dans le tweet suivant.

Article de recherche →