今天,我们在 @sundayrobotics 介绍了一项机器人 AI 的重大变革。 推出 ACT-1:一个在零机器人数据上训练的前沿机器人基础模型。 - 超长时间范围任务 - 零样本泛化 - 高级灵活性 🧵->
我们仅通过我们的技能捕捉手套的数据进行训练,而不是远程操作。 该手套与Memo的手共同设计,意味着它们共享完全相同的几何形状和传感器套件。 如果你能戴着手套做到这一点,Memo就能学会。
技能捕捉手套使我们的资本效率比远程操作高出两个数量级($200 对比 $20,000) 它还允许我们更快地扩展多样性。您可以在任何地方收集数据,而无需移动机器人。
Skill Capture Glove 可以调整手部,但身体其他部分呢?人类收集者的身高和臂长各不相同,外观也各有差异。 我们开发了 Skill Transform,这是一种将手套数据转换为等效机器人数据的方法,成功率超过 90%。
我们花了一年多的时间来构建核心基础设施。接下来的三个月,我们则致力于产生上述所有自主结果。 在下面,我将重点介绍这个版本中我最喜欢的一些部分。
将餐桌上的物品放入洗碗机的任务是机器人专家们经典的噩梦场景: 长时间跨度、高度灵活、精确的全身操作,结合了脆弱、透明、反光和可变形的物体。 然而,Memo 却能如此自然优雅地处理这一切。
具体来说,酒杯装载是最精细的子任务: 用力过猛?破碎。 插入错误的叉子?破碎。 在开发过程中我们破坏了很多,但在20多场现场演示中没有一个破碎。
关于基于手套的数据收集,有一个鲜为人知的事实:在接触丰富的任务中,它产生的数据质量比远程操作更高。 远程操作无法提供良好的力反馈,但手套自然可以,这使得像折袜子这样的任务(依赖于触感)更容易捕捉。
看到Memo如何应对未见过的环境更有趣。我们将其部署到6个未见过的Airbnb,并给机器人分配细致的任务,例如从盘子上捡起餐具。 因为我们在超过500个家庭的数据上进行训练,所以新家对Memo来说瞬间变得熟悉。
13.15K