Дослідники машинного навчання щойно створили нову ансамблеву техніку. Він перевершує XGBoost, CatBoost і LightGBM. Протягом багатьох років підвищення градієнтів було основним засобом для табличного навчання. Вже ні. TabM — це параметро-ефективний ансамбль, який дає вам: - Швидкість MLP - Точність GBDT Ось як це працює: У табличному машинному навчання нам завжди доводилося обирати між швидкістю та точністю. MLP швидкі, але відстають від результатів. Глибокі образи точні, але перебільшені. Трансформери потужні, але непрактичні для більшості столів. TabM вирішує це простим розумінням: (див. зображення нижче, поки читаєте далі) Замість навчання 32 окремих MLP використовується одна спільна модель із легким адаптером. Це невелике коригування дає переваги енсемблінгу без витрат на навчання кількох мереж. Результати: Порівняно з 15+ моделями та 46 наборами даних TabM посіла в середньому 1,7 місце — випереджаючи XGBoost, CatBoost і LightGBM. Складні моделі, такі як FT Transformer і SAINT, займали значно нижчі позиції, хоча їх навчання було дорожче. Я поділився науковою статтею та бенчмарками у наступному твіті.

Наукова робота →