Nvidia 收购 Groq 有两个原因。   1) 推理正在分解为预填充和解码。SRAM 架构在解码方面具有独特的优势，适用于性能主要取决于内存带宽的工作负载。Rubin CPX、Rubin 以及从 Groq 派生的假定“Rubin SRAM”变体应该能让 Nvidia 混合搭配芯片，以为每个工作负载创造性能与成本的最佳平衡。Rubin CPX 针对超高内存容量下的预填充进行了优化，具有相对较低带宽的 GDDR DRAM，适用于大规模上下文窗口。Rubin 是训练和高密度批量推理工作负载的主力军，其 HBM DRAM 在内存带宽和容量之间取得了平衡。Groq 派生的 "Rubin SRAM" 针对超低延迟的自主推理工作负载进行了优化，因为 SRAM 的极高内存带宽以较低的内存容量为代价。在后者的情况下，CPX 或普通 Rubin 可能会用于预填充。   2) 很长一段时间以来，SRAM 架构能够达到的每秒令牌指标远高于我们见过的任何 GPU、TPU 或 ASIC。每个用户的极低延迟以每美元的吞吐量为代价。18 个月前，最终用户是否愿意为这种速度付费尚不明确（由于批量大小较小，SRAM 每个令牌的成本更高）。现在，从 Cerebras 和 Groq 最近的结果来看，用户愿意为速度付费的事实显而易见。   这增加了我对除了 TPU、AI5 和 Trainium 之外的所有 ASIC 最终会被取消的信心。祝好运与 3 种 Rubin 变体和多个相关网络芯片竞争。尽管听起来 OpenAI 的 ASIC 会出乎意料地好（比 Meta 和 Microsoft 的 ASIC 好得多）。   让我们看看 AMD 会怎么做。英特尔已经在朝这个方向发展（他们有一个针对预填充优化的 SKU，并购买了 SambaNova，这是最弱的 SRAM 竞争者）。有点搞笑的是 Meta 买下了 Rivos。 而 Cerebras，我有偏见，现在作为最后一个（根据公开知识）独立的 SRAM 玩家，处于一个非常有趣且高度战略的位置，领先于 Groq 的所有公开基准。然而，Groq 的“多芯片”机架架构与 Nvidia 的网络堆栈集成要容易得多，甚至可能在单个机架内，而 Cerebras 的 WSE 几乎必须是一个独立的机架。

圣诞快乐！！！

对所有自信地评论太空数据中心在物理和工程角度上不可行的言论感到深感好笑。 埃隆运营着世界上两个最大的相干GPU集群，SpaceX负责超过90%的发射质量，SpaceX运营着太阳系中最大的卫星星座。十多年过去了，没有其他公司或国家能够持续成功地着陆和重复使用轨道火箭。 他公开表示，“进行AI计算的最低成本方式将是使用太阳能卫星。” 也许，他对“物理或经济学的铅笔和纸分析”确实优于你的分析。可能在这个主题上，世界上一些最优秀的工程师们进行了的不仅仅是“铅笔和纸分析”。也许他们想到了一个冷却解决方案，而这里的银河大脑们在仔细思考了几分钟后却没有想到。 谷歌的首席执行官也同意，太空中的数据中心在十年内将会“变得正常”。 如果你目前没有运营一个大型AI数据中心，没有一个大型卫星集群，也没有成功着陆过火箭，或许可以少一点自信地假设埃隆和谷歌在这个话题上*都是*错误的。 尤其是当今天确实有一个正在运行的，尽管非常小的，太空数据中心——Starcloud的轨道设置刚刚成功训练了一个LLM。顺便说一句，名字很棒。 是的，我在这些话题上有偏见，正如往常一样，时间会证明一切。