自GPT-5发布以来已经过去一周,我们认为我们终于理解了Sam的死亡星模糊帖子。在GPT-4发布前,有一个数据可视化展示了模型的参数数量与GPT-3的对比,这个图表迅速走红。其含义是:更大的预训练意味着更好的模型。 这在GPT-3到GPT-4的飞跃中得到了验证。但GPT-4.5教会我们,预训练规模并不足够——你还需要多种技术、专家、研究人员等的结合。死亡星帖子代表了一个比GPT-3 -> GPT-4 meme更大的圈子,但OpenAI用一个不仅更大而且更好工程化的模型炸毁了那个隐喻的大圈子——正如SemiAnalysis所说,“路由器就是发布。” 一些人期待GPT-5会是超智能,但对其感觉上是渐进的表现感到失望。但这里有很多理由让人感到乐观。GPT-5显然以一种减少幻觉的方式进行了强化学习,可能是通过训练不可知/不可能的研究任务,并包括专家建模的例子,表示“这个问题的好答案根本不存在。”这是一个巨大的升级。我们在节目中也谈到过,GPT-5的路由器使OpenAI能够在代理商业/可货币化的免费层面上真正占据主导地位——这是超智能的一个乐观案例。 Masa卡只能打一次,奇点不会由风险投资家补贴。它将由自由现金流资助。万亿级的集群将被建立,并将由一家能够直接用对齐的商业模式承保投资的高盈利科技公司支付。奇点仍然距离我们有数千天,但总体上在轨道上。
246