自GPT-5發布以來已經過去一週,我們認為我們終於理解了Sam的死亡星模糊帖子。在GPT-4發布前,有一個數據可視化展示了模型的參數數量與GPT-3的對比,這個圖表迅速走紅。其含義是:更大的預訓練意味著更好的模型。 這在GPT-3到GPT-4的飛躍中得到了驗證。但GPT-4.5教會我們,預訓練規模並不足夠——你還需要多種技術、專家、研究人員等的結合。死亡星帖子代表了一個比GPT-3 -> GPT-4 meme更大的圈子,但OpenAI用一個不僅更大而且更好工程化的模型炸毀了那個隱喻的大圈子——正如SemiAnalysis所說,“路由器就是發布。” 一些人期待GPT-5會是超智能,但對其感覺上是漸進的表現感到失望。但這裡有很多理由讓人感到樂觀。GPT-5顯然以一種減少幻覺的方式進行了強化學習,可能是通過訓練不可知/不可能的研究任務,並包括專家建模的例子,表示“這個問題的好答案根本不存在。”這是一個巨大的升級。我們在節目中也談到過,GPT-5的路由器使OpenAI能夠在代理商業/可貨幣化的免費層面上真正佔據主導地位——這是超智能的一個樂觀案例。 Masa卡只能打一次,奇點不會由風險投資家補貼。它將由自由現金流資助。萬億級的集群將被建立,並將由一家能夠直接用對齊的商業模式承保投資的高盈利科技公司支付。奇點仍然距離我們有數千天,但總體上在軌道上。
248