Estamos tornando os robôs mais capazes do que nunca no mundo físico. 🤖 O Gemini Robotics 1.5 é um sistema agencial nivelado que pode raciocinar melhor, planejar com antecedência, usar ferramentas digitais como @Google Search, interagir com humanos e muito mais. Veja como funciona 🧵

Muitas de nossas atividades diárias exigem muitas etapas para serem concluídas e podem ser extremamente desafiadoras para os robôs. Imagine perguntar: "Com base na minha localização, você pode separar esses objetos nas lixeiras corretas de compostagem, reciclagem e lixo?" 🗑️ O robô precisa pesquisar na web por diretrizes locais, examinar os objetos, descobrir como classificá-los e, em seguida, concluir a tarefa. ↓

Para atender a essas solicitações, a Gemini Robotics 1.5 pode alimentar novos aplicativos agenciais com dois modelos principais de IA trabalhando juntos: 🔹Gemini Robotics-ER 1.5: Atua como o cérebro de alto nível, interagindo com as pessoas, entendendo seu ambiente, orquestrando ferramentas e criando um plano detalhado para realizar uma tarefa. 🔹Gemini Robotics 1.5: É responsável pela execução, traduzindo instruções em comandos motores precisos necessários para que o robô se mova e aja de maneira geral.

O Gemini Robotics-ER 1.5 é o primeiro modelo de pensamento otimizado para raciocínio incorporado e alcança desempenho de última geração em benchmarks acadêmicos e internos. 🧠 Sua compreensão do mundo real o torna um orquestrador de alto nível perfeito para robôs. Veja como ele aborda a organização de uma mesa ocupada ↓

Tradicionalmente, os modelos VLA traduzem instruções diretamente em movimento robótico. 🦾 A Gemini Robotics 1.5 agora pode pensar antes de agir, gerando uma sequência interna de raciocínio usando linguagem natural. Isso torna as ações do robô mais interpretáveis e desbloqueia tarefas mais úteis - como organizar a roupa por cor. ↓

O que acontece quando você diz ao robô para "arrumar uma mala para minha viagem a Londres"? 🧳 Ele pode consultar o clima, pensar no que levar, onde conseguir e como embalar. Nesse processo, o modelo pode dividir tarefas longas em tarefas mais simples e ser adaptável às mudanças em seu ambiente. ↓

Os robôs vêm em todas as formas e tamanhos, com diferentes formas, sensores e graus de liberdade. 💡 O Gemini Robotics 1.5 pode aprender em várias modalidades e pode transferir o conhecimento aprendido de um robô para outro sem a necessidade de se especializar.

Agora estamos indo além dos modelos que reagem a instruções únicas e criando sistemas que podem realmente resolver problemas de uma maneira geral - no caminho para resolver a AGI no mundo físico. Os desenvolvedores agora podem usar o Gemini Robotics-ER 1.5 por meio da API Gemini no @GoogleAIStudio. Saiba mais →