热门话题
#
Bonk 生态迷因币展现强韧势头
#
有消息称 Pump.fun 计划 40 亿估值发币，引发市场猜测
#
Solana 新代币发射平台 Boop.Fun 风头正劲
Dylan Patel
半分析
精品人工智能基础设施研究与咨询
私信开放，提供咨询、报价或交流工作
SemiAnalysis InferenceMAX 显示 Blackwell 上的 GPT OSS 在短短一个月内每美元的代币数量增加了 33%，这要感谢 @vllm_project 和 @nvidia 的出色工作。
12月18日 08:29
vLLM 在相同的 GPU 平台上提供了更高的推理性能。
仅在一个月内，我们与 NVIDIA 合作，将 @nvidia Blackwell 每个 GPU 的最大吞吐量提高了多达 33% -- 显著降低了每个 token 的成本 -- 同时还为最敏感延迟的用例提供了更高的峰值速度，这得益于深度 PyTorch 的集成和合作。
27
热门
排行
收藏