今天,我們在機器人 AI @sundayrobotics 上展示了一個重大變革。 介紹 ACT-1:一個在零機器人數據上訓練的前沿機器人基礎模型。 - 超長期任務 - 零樣本泛化 - 高級靈活性 🧵->
我們不使用遠程操作,而是僅依賴我們的技能捕捉手套的數據進行訓練。 這款手套是與Memo的手共同設計的,這意味著它們擁有完全相同的幾何形狀和傳感器配置。 如果你能戴著手套做到這一點,Memo就能學會。
Skill Capture 手套使我們的資本效率提高了兩個數量級,相較於遠程操作($200 對 $20,000) 它還使我們能夠更快地擴大多樣性。您可以在任何地方收集數據,而無需移動機器人。
Skill Capture Glove 將手部對齊,但身體的其他部分呢?人類收集者的身高和臂長各不相同,外觀上也有所不同。 我們開發了 Skill Transform,一種將手套數據轉換為等效機器人數據的方法,成功率超過 90%。
我們花了超過一年的時間來設計核心基礎設施。接著,我們花了過去三個月的時間來產出上述所有自主結果。 在下面,我將重點介紹這次發布中我最喜歡的幾個部分。
將餐桌上的物品放入洗碗機的任務是機器人學家經典的噩夢場景: 長期的、高度靈巧的、精確的全身操作,結合了脆弱、透明、反光和可變形的物體。 然而,Memo 卻能如此自然和優雅地處理這一切。
具體來說,酒杯加載是最精細的子任務: 用力過猛?破碎。 插入錯誤的叉子?破碎。 在開發過程中我們破壞了很多,但在20多次現場演示中沒有一個破碎。
關於基於手套的數據收集,有一個不太為人所知的事實:在接觸豐富的任務中,它產生的數據質量比遠程操作更高。 遠程操作無法提供良好的力回饋,但手套自然可以,這使得像摺襪子這樣依賴觸感的任務更容易捕捉。
看到 Memo 如何對未見的環境做出反應更有趣。我們將它部署到 6 個未見的 Airbnb,並給予機器人細緻的任務,例如從盤子上撿起餐具。 因為我們的訓練數據來自超過 500 個家庭,新的家對 Memo 來說瞬間變得熟悉。
13.15K