Prime-rl ahora tiene un soporte extenso para MoE tanto para RL como para SFT, hemos estado entrenando un modelo de más de 100B con ello Tenemos soporte para: * Qwen3 a3-30b * serie GLM y Moonlight * añadiendo la serie gpt oss mientras hablamos terminamos reescribiendo la mayor parte del código de modelado para que funcione con torch compile mientras seguimos siendo compatibles con el ecosistema de hugging face

También añadimos soporte para ajustar la serie glm con Muon, ya que descubrimos que hace que el entrenamiento sea mucho más estable en el modelo de preentrenamiento de muon. Esto se correlaciona bien con los hallazgos en el documento de moonlight. Estamos utilizando la implementación de Microsoft en dion

En términos de rendimiento, estamos a la par con el entrenamiento de torchtitan moe (principalmente porque tomamos torchtitan como referencia para optimizar nuestro código). Alcanzamos un 20% de mfu en el 100B glm air moe con un entrenamiento de 65K de longitud de secuencia en 512 h200 gpu con muon. En términos de paralelismo, descubrimos que el EP de torchtitan no está tan optimizado para MoEs dispersos y no produjo ninguna aceleración significativa con un tamaño de lote lo suficientemente grande. Parece que podemos saturar rápidamente el rendimiento del kernel mm del grupo para MoEs y que hacer un mejor balanceo de carga con EP produce rendimientos decrecientes debido al bloqueo total. Creemos que hay mucho margen de mejora en toda la pila de código abierto para MoEs. Hay una fuerte necesidad de kernels optimizados para hacer que los MoEs sean más rápidos y para ocultar la comunicación y la computación de una manera muy detallada. Parece que esto es aún más necesario para blackwell.

ah, también la mayor parte del trabajo en moe ha sido realizado por @jackminong