谷歌DeepMind推出Gemini Robotics 1.5，使机器人能够感知、规划、思考、使用工具并执行复杂任务。 代理框架包括： ⦿ Gemini Robotics-ER 1.5 (VLM)：协调高层次的具身推理和规划。 ⦿ Gemini Robotics 1.5 (VLA)：将ER 1.5提供的视觉和指令转换为行动。

VLA模型在行动前会进行思考，使用多层次的自然语言独白。 它将任务如“按颜色分类洗衣”分解为步骤（例如，识别颜色、挑选物品、详细动作），提高了透明度、稳健性和对新场景的适应能力。

Gemini Robotics 1.5 从多样化的数据集中学习，涵盖不同的体现（ALOHA、双臂 Franka、Apollo 人形机器人），实现零-shot 技能转移而无需专业化。 例如，在一个机器人上训练的任务可以在其他机器人上使用，从而解决数据稀缺问题并提高效率。

Gemini Robotics-ER 1.5 在具身推理方面设定了新的基准，在指向、进度估计和任务规划等空间、时间和语义任务中表现出色。 它提供了高级的具身推理，能够推广到一个开放的物体和场景世界。