Dnes představujeme zásadní změnu v robotické AI @sundayrobotics. Představujeme ACT-1: Model základů robotů na hranici trénovaný na nulových robotických datech. - Úkoly s ultra dlouhým horizontem - Zero-shot generalizace - Pokročilá obratnost 🧵->

Místo teleoperace trénujeme výhradně na základě dat z naší rukavice pro zachycení dovedností. Rukavice je spolunavržena s Memoovou rukou, což znamená, že sdílejí přesně stejnou geometrii a senzorovou sadu. Pokud to zvládneš v rukavici, Memo se to naučí.

Rukavice na zachycení dovedností nám dává o dva řády vyšší kapitálovou efektivitu než teleoperace (200 $ vs $20,000) Také nám umožňuje škálovat rozmanitost rychleji. Data můžete sbírat kdekoli, aniž byste museli přesouvat roboty.

Skill Capture Glove zarovná ruce, ale co zbytek těla? Lidské sběratele se liší výškou a délkou paže a jsou také vizuálně odlišní. Vyvinuli jsme Skill Transform, metodu, která převádí data z rukavic na ekvivalentní robotická data s úspěšností 90%+.

Trvalo nám více než rok, než jsme navrhli základní infrastrukturu. Poté jsme poslední 3 měsíce strávili tím, že jsme vytvořili všechny výše uvedené autonomní výsledky. Níže vyzdvihuji některé ze svých nejoblíbenějších částí tohoto vydání.

Úkol od stolu k myčce je klasický noční můra pro robotiky: Dlouhý horizont, vysoce obratná, přesná, celotělová manipulace v kombinaci s jemnými, průhlednými, reflexními a deformovatelnými objekty. Přesto to Memo zvládá tak přirozeně a elegantně.

Konkrétně je nakládání sklenic na víno nejcitlivější vedlejší úkol: Tlačit dolů příliš silně? Otřást. Vložil jste špatný hrot? Otřást. Během vývoje jsme jich hodně rozbili, ale žádné přes 20+ živých demo sezení.

Jeden méně známý fakt o sběru dat pomocí rukavic: vytváří kvalitnější data než teleop u úkolů bohatých na kontakty. Dálkové teleopování nemůže poskytnout dobrou zpětnou vazbu síly, ale rukavice ano, což výrazně usnadňuje zachycení úkolů jako skládání ponožek, které závisí na pocitu.

Ještě zábavnější je sledovat, jak Memo reaguje na neviditelná prostředí. Nasadíme ho do 6 neviděných Airbnb a zadáváme robotovi detailní úkoly, jako je sbírání příborů z talíře. Protože trénujeme na datech z více než 500 domácností, je nový domov pro Memo okamžitě povědomý.