La inferencia de MoE escalable suele ser comunicación + KV-cache bound: una vez que se impulsa el paralelismo experto, la decodificación puede quedar dominada por colectivos y desequilibrios, y los rezagados de prefill pueden estancar a todo un grupo EP. Nuevos resultados de benchmarks comunitarios para vLLM wide-EP en H200 multinodo (Coreweave, Infiniband + ConnectX-7): - Sostenido ~2.200 tokens/s por GPU H200 (frente a ~1.5k tokens/s por GPU anteriores) En la publicación compartimos las piezas clave que lo permiten: - Wide-EP ('--enable-expert-parallel') para eficiencia de MoE estilo DeepSeek + MLA KV - DeepEP all-to-all, Superposición de Doble Batch (DBO) y Balanceo de Carga Paralelo Experto (EPLB) - Rutas de prerelleno/desagregación y despliegue mediante llm-d, NVIDIA Dynamo y Ray Serve LLM

vLLM ofrece aún más rendimiento de inferencia con la misma plataforma GPU. En solo un mes, hemos trabajado con NVIDIA para aumentar @nvidia rendimiento máximo por GPU de Blackwell hasta en un 33% —reduciendo significativamente el coste por token— y también permitiendo una velocidad máxima aún mayor para los casos de uso más sensibles a la latencia, gracias a una integración y colaboración profunda con PyTorch.

🎉Enhorabuena al equipo @Zai_org por el lanzamiento de GLM-4.6V y GLM-4.6V-Flash — con la edición 0 del día 0 ofreciendo soporte en vLLM Recipes para equipos que quieren ejecutarlos en sus propias GPUs. GLM-4.6V se centra en razonamiento multimodal de alta calidad con contexto largo y llamadas nativas a herramientas/funciones, mientras que GLM-4.6V-Flash es una variante 9B ajustada para despliegues de menor latencia y menor huella; nuestro nuevo vLLM Recipe incluye configuraciones listas para ejecutar, guía multi-GPU y predeterminados orientados a la producción. Si estás desarrollando servicios de inferencia y quieres GLM-4.6V en tu pila, empieza aquí: