Các nhà nghiên cứu ML vừa phát triển một kỹ thuật tập hợp mới. Nó vượt trội hơn XGBoost, CatBoost và LightGBM. Trong nhiều năm, gradient boosting đã là lựa chọn hàng đầu cho học tập bảng. Không còn nữa. TabM là một tập hợp hiệu quả về tham số mang lại cho bạn: - Tốc độ của một MLP - Độ chính xác của GBDT Đây là cách nó hoạt động: Trong ML bảng, chúng ta luôn phải chọn giữa tốc độ và độ chính xác. MLP nhanh nhưng hiệu suất kém. Các tập hợp sâu chính xác nhưng cồng kềnh. Transformers mạnh mẽ nhưng không thực tế cho hầu hết các bảng. TabM giải quyết vấn đề này với một cái nhìn đơn giản: (hãy tham khảo hình ảnh bên dưới khi bạn đọc tiếp) Thay vì đào tạo 32 MLP riêng biệt, nó sử dụng một mô hình chung với một bộ chuyển đổi nhẹ. Sự điều chỉnh nhỏ này mang lại cho bạn lợi ích của việc tập hợp mà không tốn kém chi phí đào tạo nhiều mạng. Kết quả: So với 15+ mô hình và 46 tập dữ liệu, TabM xếp hạng 1.7 trung bình - đứng đầu XGBoost, CatBoost và LightGBM. Các mô hình phức tạp như FT Transformer và SAINT xếp hạng thấp hơn nhiều mặc dù tốn kém hơn để đào tạo. Tôi đã chia sẻ bài báo nghiên cứu và các tiêu chuẩn trong tweet tiếp theo.

Bài nghiên cứu →