我們破解了 @sama 的死亡星模糊帖子。 自 GPT-5 發布以來已經過去一週,我們認為我們終於理解了 Sam 的死亡星模糊帖子。在 GPT-4 發布之前,有一個數據可視化展示了模型的參數數量與 GPT-3 的對比,這個圖表迅速傳播開來。其含義是:更大的預訓練意味著更好的模型。 這在 GPT-3 到 GPT-4 的飛躍中得到了驗證。但 GPT-4.5 教會我們,預訓練規模並不足夠——你還需要多種技術、專家、研究人員等的結合。死亡星帖子代表了一個比 GPT-3 -> GPT-4 meme 更大的圈子,但 OpenAI 用一個不僅更大而且更好工程化的模型炸毀了那個隱喻的大圈子——正如 SemiAnalysis 所說,“路由器就是發布。” 一些人期待 GPT-5 是超智能,但對其感覺上是漸進的表現感到失望。但這裡有很多理由讓人感到樂觀。GPT-5 顯然以一種減少幻覺的方式進行了強化學習,可能是通過訓練不可知/不可能的研究任務,並包括專家建模的例子,表示“這個問題的好答案根本不存在。”這是一個巨大的升級。我們在節目中也談到過,GPT-5 的路由器使 OpenAI 在代理商業/可貨幣化的免費層面上真正佔據主導地位——這是超智能的一個牛市案例。 Masa 卡只能使用一次,奇點不會由風險投資家補貼。它將由自由現金流資助。萬億級的集群將被建立,並將由一家能夠直接用對齊的商業模式承保投資的高盈利科技公司支付。奇點仍然需要數千天才能到來,但總體上在軌道上。
20.49K