Astăzi, prezentăm o schimbare importantă în @sundayrobotics AI robotică. Prezentăm ACT-1: Un model de fundație robotizată de frontieră antrenat pe zero date roboți. - Sarcini pe orizont ultra lung - Generalizarea zero-shot - Dexteritate avansată 🧵->

În loc de teleoperare, ne antrenăm exclusiv pe baza datelor de la Skill Capture Glove. Mănușa este co-proiectată cu mâna lui Memo, ceea ce înseamnă că împărtășesc exact aceeași geometrie și același set de senzori. Dacă poți să o faci cu mănușa, Memo poate învăța.

Mănușa de Capturare a Abilităților ne oferă o eficiență capitală de două ordine de mărime mai mare comparativ cu teleoperarea (200 de dolari față de 20.000 de dolari) De asemenea, ne permite să scalăm diversitatea mai rapid. Poți colecta date oriunde fără să fie nevoie să muți roboți.

Mănușa de capturare a abilităților aliniază mâinile, dar ce se întâmplă cu restul corpului? Colecționarii umani variază ca înălțime și lungime a brațului și sunt, de asemenea, diferiți vizual. Am dezvoltat Skill Transform, o metodă care transformă datele mănușilor în date echivalente ale roboților cu o rată de succes de 90%+.

Ne-a luat peste un an să proiectăm infrastructura de bază. Apoi am petrecut ultimele 3 luni pentru a produce toate rezultatele autonome menționate mai sus. Mai jos, evidențiez câteva dintre părțile mele preferate din această lansare.

Sarcina de la masă la mașina de spălat vase este scenariul clasic de coșmar pentru robotici: Manipulare pe orizont lung, extrem de dexteră, precisă, pe întregul corp, combinată cu obiecte delicate, transparente, reflectorizante și deformabile. Totuși, Memo gestionează totul atât de natural și elegant.

Mai exact, încărcarea paharelor de vin este cea mai delicată subsarcină: Să împingi cu prea multă forță? Sfărâma. Ai introdus vârful greșit? Sfărâma. Am stricat multe în timpul dezvoltării, dar niciunul peste 20+ sesiuni live de demo.

Un fapt mai puțin cunoscut despre colectarea datelor bazată pe mănuși: aceasta produce date de calitate superioară decât teleop-ul pentru sarcini bogate în contacte. Teleop la distanță nu poate oferi un feedback bun de forță, dar mănușile o fac natural, ceea ce face ca sarcini precum împăturirea șosetelor, care se bazează pe senzație, să fie mult mai ușor de surprins.

Este și mai distractiv să vezi cum reacționează Memo la mediile nevăzute. Îl implementăm pe 6 Airbnb-uri nevăzute și îi încredințăm robotului sarcini detaliate, cum ar fi ridicarea tacâmurilor de pe farfurie. Pentru că ne antrenăm pe date din peste 500 de locuințe, noua casă este instantaneu familiară pentru Memo.