Los investigadores de ML acaban de construir una nueva técnica de ensamblaje. Supera a XGBoost, CatBoost y LightGBM. Durante años, el gradient boosting ha sido la opción preferida para el aprendizaje tabular. Ya no más. TabM es un ensamblaje eficiente en parámetros que te ofrece: - La velocidad de un MLP - La precisión de GBDT Así es como funciona: En el ML tabular, siempre hemos tenido que elegir entre velocidad y precisión. Los MLP son rápidos pero tienen un rendimiento inferior. Los ensamblajes profundos son precisos pero voluminosos. Los Transformers son potentes pero poco prácticos para la mayoría de las tablas. TabM resuelve esto con una simple idea: (referirse a la imagen a continuación mientras continúas leyendo) En lugar de entrenar 32 MLPs separados, utiliza un modelo compartido con un adaptador ligero. Este pequeño ajuste te brinda los beneficios del ensamblaje sin el costo de entrenar múltiples redes. Los resultados: Contra más de 15 modelos y 46 conjuntos de datos, TabM ocupó el puesto 1.7 en promedio, por delante de XGBoost, CatBoost y LightGBM. Modelos complejos como FT Transformer y SAINT ocuparon posiciones mucho más bajas a pesar de ser más costosos de entrenar. He compartido el artículo de investigación y los benchmarks en el siguiente tweet.

Trabajo de investigación →