热门话题
#
Bonk 生态迷因币展现强韧势头
#
有消息称 Pump.fun 计划 40 亿估值发币，引发市场猜测
#
Solana 新代币发射平台 Boop.Fun 风头正劲
vLLM
祝贺 @Alibaba_Qwen 发布 Qwen-Image-2512！ 🎉
我们很高兴地宣布在 vLLM-Omni 中提供 Day-0 支持。您现在可以立即使用我们优化的管道架构来服务这个 SOTA 开源图像模型。
阅读更多：
👇 下面查看运行情况：
2025年12月31日
🎁 来自Qwen的新年礼物——Qwen-Image-2512来了。
🚀 我们在新年到来之际对Qwen-Image进行了12月升级。
✨ 新功能：
• 更逼真的人类——显著减少“AI外观”，面部细节更丰富
• 更精细的自然纹理——更清晰的风景、水、毛发和材料
• 更强大的文本渲染——更好的布局，文本与图像组合的准确性更高
🏆 在AI Arena进行了10,000+次盲测，Qwen-Image-2512被评为最强的开源图像模型，同时在与闭源系统的竞争中保持优势。
👉 现在在Qwen Chat中试用：
🤗 Hugging Face：
📦 ModelScope：
💻 GitHub：
📝 博客：
🤗 Hugging Face演示：
📦 ModelScope演示：
✨API：
🎆 以更好的图像开始新的一年。
65
MoE推理的扩展通常受限于通信 + KV缓存：一旦你推动专家并行，解码可能会被集体操作和不平衡所主导，而预填充的滞后者可能会拖慢整个EP组。
关于在多节点H200（Coreweave，Infiniband + ConnectX-7）上进行vLLM宽专家并行的新社区基准结果：
- 每个H200 GPU持续约2.2k tokens/s（比之前的每个GPU约1.5k tokens/s有所提升）
在这篇文章中，我们分享了实现这一目标的关键要素：
- 宽专家并行（`--enable-expert-parallel`）用于DeepSeek风格的MoE + MLA KV效率
- DeepEP全到全，双批次重叠（DBO）和专家并行负载均衡（EPLB）
- 通过llm-d、NVIDIA Dynamo和Ray Serve LLM实现预填充/解码的分离和部署路径
248
热门
排行
收藏