Google DeepMind introduceert Gemini Robotics 1.5, waarmee robots complexe taken kunnen waarnemen, plannen, denken, gereedschappen gebruiken en handelen. Het agentische kader bestaat uit: ⦿ Gemini Robotics-ER 1.5 (VLM): Orkestreert hoog-niveau belichaamde redenering en planning. ⦿ Gemini Robotics 1.5 (VLA): Zet visuals en instructies die door ER 1.5 zijn gegeven om in acties.

Het VLA-model "denkt na voordat het handelt" met behulp van een meerlagige monoloog in natuurlijke taal. Het splitst taken zoals "was sorteren op kleur" op in stappen (bijv. kleuren identificeren, items kiezen, bewegingen detailleren), wat de transparantie, robuustheid en aanpassingsvermogen aan nieuwe scenario's verbetert.

Gemini Robotics 1.5 leert van diverse datasets over verschillende belichamingen (ALOHA, bi-arm Franka, Apollo humanoïde), waardoor zero-shot vaardigheidsoverdracht mogelijk is zonder specialisatie. Bijvoorbeeld, taken die op de ene robot zijn getraind, werken op andere, wat het probleem van datatekort aanpakt en de efficiëntie verbetert.

Gemini Robotics-ER 1.5 stelt een nieuwe norm in belichaamde redenering, en blinkt uit in ruimtelijke, temporele en semantische taken zoals aanwijzen, voortgangsinschatting en taakplanning. Het biedt hoog-niveau belichaamde redenering, generaliserend naar een open wereld van objecten en scènes.