Quizás el top-k sea todo lo que necesitas. Primero vino por el MLP - MoEs estilo switch Ahora viene por la atención - atención dispersa DSV3.2