Oggi presentiamo un cambiamento radicale nell'AI robotica @sundayrobotics. Presentiamo ACT-1: un modello di fondazione robotica di frontiera addestrato su zero dati robotici. - Compiti a lungo termine ultra - Generalizzazione zero-shot - Destrezza avanzata 🧵->

Invece di teleoperare, ci alleniamo esclusivamente con i dati del nostro Guanto di Cattura delle Abilità. Il guanto è co-progettato con la mano di Memo, il che significa che condividono esattamente la stessa geometria e suite di sensori. Se puoi farlo indossando il guanto, Memo può impararlo.

Il Guanto di Cattura delle Competenze ci offre un'efficienza di capitale due ordini di grandezza superiore rispetto alla teleoperazione ($200 contro $20,000) Consente anche di scalare la diversità più rapidamente. Puoi raccogliere dati ovunque senza dover spostare i robot.

Il guanto Skill Capture allinea le mani, ma che dire del resto del corpo? I collezionisti umani variano in altezza e lunghezza delle braccia, e sono anche visivamente diversi. Abbiamo sviluppato Skill Transform, un metodo che converte i dati del guanto in dati robotici equivalenti con un tasso di successo superiore al 90%.

Ci è voluto oltre un anno per progettare l'infrastruttura principale. Abbiamo poi trascorso gli ultimi 3 mesi a produrre tutti i risultati autonomi sopra. Di seguito, evidenzio alcune delle mie parti preferite di questo rilascio.

Il compito di portare i piatti in lavastoviglie è il classico incubo per i robotici: Manipolazione a lungo termine, altamente abile, precisa, con tutto il corpo, combinata con oggetti delicati, trasparenti, riflettenti e deformabili. Eppure Memo lo gestisce in modo così naturale ed elegante.

In particolare, il caricamento del bicchiere di vino è il sottocompito più delicato: Premere troppo forte? Frantumare. Inserire il prong sbagliato? Frantumare. Ne abbiamo rotti molti durante lo sviluppo, ma zero in oltre 20 sessioni di dimostrazione dal vivo.

Un fatto poco conosciuto sulla raccolta di dati tramite guanti: produce dati di qualità superiore rispetto al teleoperato in compiti ricchi di contatto. Il teleoperato remoto non può fornire un buon feedback di forza, ma i guanti lo fanno naturalmente, rendendo compiti come piegare i calzini, che si basano sul tatto, molto più facili da catturare.

È ancora più divertente vedere come Memo reagisce a ambienti sconosciuti. Lo distribuiamo in 6 Airbnb sconosciuti e incarichiamo il robot di compiti dettagliati come raccogliere utensili dal piatto. Poiché ci alleniamo su dati provenienti da oltre 500 case, la nuova casa è istantaneamente familiare per Memo.