Google DeepMind introduce Gemini Robotics 1.5, permițând roboților să perceapă, să planifice, să gândească, să folosească instrumente și să acționeze asupra sarcinilor complexe. Cadrul agentic cuprinde: ⦿ Gemini Robotics-ER 1.5 (VLM): Orchestrează raționamentul și planificarea încorporată la nivel înalt. ⦿ Gemini Robotics 1.5 (VLA): Convertește imaginile și instrucțiunile furnizate de ER 1.5 în acțiuni.

Modelul VLA "gândește înainte de a acționa" folosind un monolog în limbaj natural pe mai multe niveluri. Împarte sarcinile precum "sortarea rufelor după culoare" în pași (de exemplu, identificarea culorilor, alegerea articolelor, detalierea mișcărilor), îmbunătățind transparența, robustețea și adaptabilitatea la noi scenarii.

Gemini Robotics 1.5 învață din diverse seturi de date din toate realizările (ALOHA, Franka cu două brațe, umanoid Apollo), permițând transferul de abilități fără specializare. De exemplu, sarcinile antrenate pe un robot lucrează pe alții, abordând deficitul de date și sporind eficiența.

Gemini Robotics-ER 1.5 stabilește un nou punct de referință în raționamentul încorporat, excelând în sarcini spațiale, temporale și semantice, cum ar fi indicarea, estimarea progresului și planificarea sarcinilor. Oferă un raționament întrupat la nivel înalt, generalizându-se la o lume deschisă de obiecte și scene.