Koneoppimisen tutkijat rakensivat juuri uuden ensemble-tekniikan. Se päihittää XGBoostin, CatBoostin ja LightGBM:n. Jo vuosien ajan gradientin korostus on ollut taulukkooppimisen ensisijainen keino. Ei enää. TabM on parametritehokas kokonaisuus, joka antaa: - MLP:n nopeus - GBDT:n tarkkuus Näin se toimii: Taulukkokoneoppimisessa meidän on aina täytynyt valita nopeuden ja tarkkuuden välillä. MLP:t ovat nopeita, mutta suoriutuvat heikosti. Syvät yhtyeet ovat tarkkoja mutta paisuneita. Muuntajat ovat tehokkaita, mutta useimmille pöydille epäkäytännöllistä. TabM ratkaisee tämän yksinkertaisella oivalluksella: (Katso alla oleva kuva, kun luet eteenpäin) Sen sijaan, että koulutettaisiin 32 erillistä MLP:tä, se käyttää yhtä jaettua mallia kevyellä adapterilla. Tämä pieni muutos antaa sinulle kokoonpanon edut ilman useiden verkostojen kouluttamisen kustannuksia. Tulokset: 15+ mallia ja 46 aineistoa vastaan TabM sijoittui keskimäärin sijalle 1,7—XGBoostin, CatBoostin ja LightGBM:n edellä. Monimutkaiset mallit kuten FT Transformer ja SAINT sijoittuivat paljon alemmaksi, vaikka niiden kouluttaminen oli kalliimpia. Olen jakanut tutkimuspaperin ja vertailuarvot seuraavassa twiitissä.

Tutkimuspaperi →