ML-Forscher haben gerade eine neue Ensemble-Technik entwickelt. Sie übertrifft XGBoost, CatBoost und LightGBM. Jahrelang war Gradient Boosting die erste Wahl für tabellarisches Lernen. Nicht mehr. TabM ist ein parameter-effizientes Ensemble, das Ihnen bietet: - Die Geschwindigkeit eines MLP - Die Genauigkeit von GBDT So funktioniert es: Im tabellarischen ML mussten wir immer zwischen Geschwindigkeit und Genauigkeit wählen. MLPs sind schnell, aber unterperformen. Tiefe Ensembles sind genau, aber aufgebläht. Transformer sind leistungsstark, aber für die meisten Tabellen unpraktisch. TabM löst dies mit einer einfachen Einsicht: (Verweisen Sie auf das Bild unten, während Sie weiterlesen) Anstatt 32 separate MLPs zu trainieren, verwendet es ein gemeinsames Modell mit einem leichten Adapter. Diese kleine Anpassung bietet Ihnen die Vorteile des Ensembling, ohne die Kosten für das Training mehrerer Netzwerke. Die Ergebnisse: Gegen 15+ Modelle und 46 Datensätze belegte TabM im Durchschnitt den 1.7 Platz – vor XGBoost, CatBoost und LightGBM. Komplexe Modelle wie FT Transformer und SAINT schnitten trotz höherer Trainingskosten viel schlechter ab. Ich habe das Forschungspapier und die Benchmarks im nächsten Tweet geteilt.

Forschungsarbeit →