Vandaag presenteren we een stapverandering in robotische AI @sundayrobotics. Introductie van ACT-1: Een grensverleggend robotfundamentmodel getraind op nul robotdata. - Ultra lange termijn taken - Zero-shot generalisatie - Geavanceerde behendigheid 🧵->

In plaats van teleoperatie trainen we uitsluitend op gegevens van onze Skill Capture Glove. De handschoen is samen ontworpen met de hand van Memo, wat betekent dat ze exact dezelfde geometrie en sensor suite delen. Als je het kunt doen terwijl je de handschoen draagt, kan Memo het leren.

De Skill Capture Glove biedt ons twee ordes van grootte hogere kapitaal efficiëntie in vergelijking met teleoperatie ($200 vs $20.000) Het stelt ons ook in staat om diversiteit sneller op te schalen. Je kunt overal gegevens verzamelen zonder robots te hoeven verplaatsen.

De Skill Capture Glove stelt de handen uit, maar wat te doen met de rest van het lichaam? Menselijke verzamelaars variëren in hoogte en armlengte, en zien er ook visueel verschillend uit. We hebben Skill Transform ontwikkeld, een methode die gegevens van de handschoen omzet in equivalente robotgegevens met een succespercentage van meer dan 90%.

Het heeft ons meer dan een jaar gekost om de kerninfrastructuur te ontwikkelen. We hebben de afgelopen 3 maanden besteed aan het produceren van alle autonome resultaten hierboven. Hieronder benadruk ik enkele van mijn favoriete onderdelen van deze release.

De taak van tafel naar vaatwasser is het klassieke nachtmerrie-scenario voor robotica-experts: Langdurige, zeer behendige, precieze, volledige lichaamsmanipulatie gecombineerd met delicate, transparante, reflecterende en vervormbare objecten. Toch gaat Memo er zo natuurlijk en elegant mee om.

Specifiek is het laden van het wijnglas de meest delicate subtaak: Te veel kracht uitoefenen? Verbrokkelen. De verkeerde tand invoegen? Verbrokkelen. We hebben er veel gebroken tijdens de ontwikkeling, maar nul tijdens 20+ live demo-sessies.

Een minder bekend feit over handschoen-gebaseerde gegevensverzameling: het produceert hogere kwaliteit gegevens dan teleoperatie bij contactrijke taken. Afstandsbediening kan geen goede krachtfeedback bieden, maar handschoenen doen dat van nature, waardoor taken zoals sokken vouwen, die afhankelijk zijn van gevoel, veel gemakkelijker vast te leggen zijn.

Het is nog leuker om te zien hoe Memo reageert op onbekende omgevingen. We zetten het in bij 6 onbekende Airbnbs en geven de robot fijne taken zoals het oppakken van bestek van het bord. Omdat we trainen op gegevens van meer dan 500 huizen, is het nieuwe huis meteen vertrouwd voor Memo.