介紹 NitroGen,一個開源的基礎模型,訓練來玩 1000 多款遊戲:角色扮演遊戲、平台遊戲、大逃殺、賽車、2D、3D,應有盡有!我們正在尋找通用的具身代理,這些代理不僅能掌握現實世界的物理,還能掌握多元宇宙中所有可能的物理。 我們發現我們的 GR00T N1.5 架構,最初設計用於機器人技術,可以輕鬆適應玩許多機械截然不同的遊戲。我們的配方簡單且苦澀的教訓是: (1) 一個 40K+ 小時的高品質公共遊玩數據集; (2) 一個高效能的基礎模型,用於持續的運動控制; (3) 一個 Gym API,可以包裝任何遊戲二進位檔以運行回合。 我們的數據策展非常有趣:事實證明,玩家喜歡通過在視頻流上疊加實時遊戲手柄控制來展示他們的技能。因此,我們訓練一個分割模型來檢測和提取這些遊戲手柄顯示,並將其轉化為專家行動。然後,我們遮蔽該區域,以防止模型利用捷徑。在訓練過程中,GR00T N1.5 的一個變體學會通過擴散變壓器將 40K 小時的像素映射到行動。 NitroGen 只是個開始,還有很長的路要走以提升能力。我們故意只專注於系統 1 的部分:快速運動控制的 "玩家直覺"。我們開源 *所有* 內容供你進行實驗:預訓練模型權重、整個行動數據集、代碼,以及一份詳細的白皮書。 今天,機器人技術是困難 AI 問題的超集。 明天,它可能成為一個子集,成為具身 AGI 更大潛在空間中的一個點。 然後你只需提示並 "請求" 一個機器人控制器。 這可能就是終局(雙關語)。 NitroGen 由我們的傑出團隊共同領導:Loic Magne、Anas Awadalla、Guanzhi Wang。這是一個多機構的合作。查看 Guanzhi 的技術深入討論串和下面的 repo 連結!