Hoje, apresentamos uma mudança radical na IA robótica @sundayrobotics. Apresentando o ACT-1: Um modelo de fundação de robô de fronteira treinado com zero dados de robô. - Tarefas de ultra longo prazo - Generalização zero-shot - Destreza avançada 🧵->

Em vez de teleoperação, treinamos exclusivamente com dados da nossa Luva de Captura de Habilidades. A luva é co-desenhada com a mão do Memo, o que significa que compartilham a mesma geometria e conjunto de sensores. Se você consegue fazer isso usando a luva, o Memo pode aprender.

A Luva de Captura de Habilidades oferece-nos uma eficiência de capital duas ordens de magnitude superior em comparação com a teleoperação (200 $ vs 20.000 $) Ela também nos permite escalar a diversidade mais rapidamente. Você pode coletar dados em qualquer lugar sem precisar mover robôs.

A Luva de Captura de Habilidades alinha as mãos, mas e o resto do corpo? Os coletores humanos variam em altura e comprimento de braço, e também são visualmente diferentes. Desenvolvemos o Skill Transform, um método que converte os dados da luva em dados equivalentes de robô com uma taxa de sucesso superior a 90%.

Levou-nos mais de um ano para desenvolver a infraestrutura central. Depois, passámos os últimos 3 meses a produzir todos os resultados autónomos acima. Abaixo, destaco algumas das minhas partes favoritas deste lançamento.

A tarefa de levar a mesa à máquina de lavar louça é o clássico cenário de pesadelo para os robóticos: Manipulação de longo alcance, altamente destro, precisa, com todo o corpo, combinada com objetos delicados, transparentes, reflexivos e deformáveis. No entanto, o Memo lida com isso de forma tão natural e elegante.

Especificamente, carregar um copo de vinho é a subtarefa mais delicada: Empurrar com muita força? Quebrar. Inserir o garfo errado? Quebrar. Quebrámos muitos durante o desenvolvimento, mas zero em mais de 20 sessões de demonstração ao vivo.

Um fato menos conhecido sobre a coleta de dados baseada em luvas: ela produz dados de qualidade superior em comparação com a teleop em tarefas ricas em contato. A teleop remota não consegue fornecer um bom feedback de força, mas as luvas fazem isso naturalmente, tornando tarefas como dobrar meias, que dependem do toque, muito mais fáceis de capturar.

É ainda mais divertido ver como o Memo reage a ambientes desconhecidos. Nós o implantamos em 6 Airbnbs desconhecidos e atribuímos ao robô tarefas detalhadas, como pegar utensílios do prato. Como treinamos com dados de mais de 500 casas, a nova casa é instantaneamente familiar para o Memo.