Сегодня мы представляем прорыв в области роботизированного ИИ @sundayrobotics. Представляем ACT-1: основную модель робота, обученную на нулевых данных о роботах. - Ультрадолгосрочные задачи - Обобщение без примеров - Продвинутая ловкость 🧵->

Вместо телеприсутствия мы обучаемся исключительно на данных с нашего перчатки Skill Capture. Перчатка разработана совместно с рукой Memo, что означает, что они имеют точно такую же геометрию и набор датчиков. Если вы можете это сделать, надев перчатку, Memo сможет это выучить.

Перчатка Skill Capture обеспечивает в два порядка более высокую капитальную эффективность по сравнению с телеоперацией (200 долларов против 20 000 долларов) Она также позволяет нам быстрее масштабировать разнообразие. Вы можете собирать данные в любом месте, не перемещая роботов.

Перчатка Skill Capture выравнивает руки, но что насчет остальной части тела? Человеческие коллекционеры различаются по росту и длине рук, а также визуально отличаются. Мы разработали Skill Transform, метод, который преобразует данные перчатки в эквивалентные данные робота с успешностью более 90%.

Нам потребовался более года, чтобы разработать основную инфраструктуру. Затем мы потратили последние 3 месяца на создание всех автономных результатов выше. Ниже я выделяю некоторые из моих любимых частей этого релиза.

Задача переноса со стола в посудомоечную машину — это классический сценарий кошмара для робототехников: Долгосрочное, высоко ловкое, точное, манипулирование всем телом в сочетании с деликатными, прозрачными, отражающими и деформируемыми объектами. Тем не менее, Memo справляется с этим так естественно и элегантно.

В частности, загрузка бокала для вина является самой деликатной подзадачей: Слишком сильно нажать? Разбиться. Вставить неправильный зубец? Разбиться. Мы сломали много бокалов во время разработки, но ни одного за 20+ живых демонстраций.

Малознакомый факт о сборе данных с помощью перчаток: он производит данные более высокого качества, чем телеприсутствие при задачах, требующих контакта. Удаленное телеприсутствие не может обеспечить хорошую обратную связь по силе, но перчатки делают это естественным образом, что делает такие задачи, как складывание носков, которые зависят от осязания, гораздо проще для захвата.

Еще интереснее наблюдать, как Memo реагирует на незнакомые окружения. Мы отправляем его в 6 незнакомых Airbnb и ставим перед роботом тонкие задачи, такие как подъем столовых приборов с тарелки. Поскольку мы обучаемся на данных более чем из 500 домов, новый дом мгновенно становится знакомым для Memo.