Pesquisadores de ML acabaram de criar uma nova técnica de conjunto. Ele supera XGBoost, CatBoost e LightGBM. Por anos, o gradient boosting tem sido a escolha principal para aprendizado tabular. Não mais. TabM é um conjunto eficiente em termos de parâmetros que oferece a você: - A velocidade de uma MLP - A precisão do GBDT Veja como funciona: No ML tabular, sempre tivemos que escolher entre velocidade e precisão. MLPs são rápidos, mas têm desempenho abaixo do esperado. Conjuntos profundos são precisos, mas volumosos. Transformers são potentes, mas pouco práticos para a maioria das mesas. O TabM resolve isso com uma visão simples: (consulte a imagem abaixo enquanto lê) Em vez de treinar 32 MLPs separados, ele usa um modelo compartilhado com um adaptador leve. Esse pequeno ajuste oferece os benefícios de montar sem o custo de treinar múltiplas redes. Os resultados: Contra 15+ modelos e 46 conjuntos de dados, o TabM ficou em média 1,7 — à frente de XGBoost, CatBoost e LightGBM. Modelos complexos como FT Transformer e SAINT tiveram classificação muito inferior, apesar de serem mais caros de treinar. Compartilhei o artigo de pesquisa e os marcos no próximo tweet.

Trabalho de pesquisa →