El corte de energía dejó fuera de servicio a los Waymos. RIP

Presentamos NitroGen, un modelo de fundación de código abierto entrenado para jugar más de 1000 juegos: RPG, plataformas, battle royale, carreras, 2D, 3D, ¡tú lo nombras! Estamos en una búsqueda de agentes embebidos de propósito general que dominen no solo la física del mundo real, sino también todas las posibles físicas a través de un multiverso de simulaciones. Descubrimos que nuestra arquitectura GR00T N1.5, originalmente diseñada para robótica, se puede adaptar fácilmente para jugar muchos juegos con mecánicas muy diferentes. Nuestra receta es simple y amarga: (1) un conjunto de datos de alta calidad de más de 40K horas de juego público en el mundo real; (2) un modelo de fundación altamente capaz para el control motor continuo; (3) una API de Gym que envuelve cualquier binario de juego para ejecutar rollouts. Nuestra curación de datos es muy divertida: resulta que a los jugadores les encanta mostrar sus habilidades superponiendo el control del gamepad en tiempo real sobre una transmisión de video. Así que entrenamos un modelo de segmentación para detectar y extraer esas pantallas de gamepad y convertirlas en acciones de experto. Luego enmascaramos esa región para evitar que el modelo explote un atajo. Durante el entrenamiento, una variante de GR00T N1.5 aprende a mapear de 40K horas de píxeles a acciones a través de transformadores de difusión. NitroGen es solo el comienzo, y hay un largo camino por recorrer en la capacidad. Nos enfocamos intencionalmente solo en el lado del Sistema 1: el "instinto de jugador" del control motor rápido. Abrimos *todo* para que puedas experimentar: pesos de modelo preentrenados, todo el conjunto de datos de acciones, código y un documento técnico con detalles sólidos. Hoy, la robótica es un superconjunto de problemas difíciles de IA. Mañana, podría convertirse en un subconjunto, un punto en el espacio latente mucho más grande de AGI embebido. Entonces solo tienes que solicitar y "pedir" un controlador de robot. Ese podría ser el juego final (juego de palabras intencionado). NitroGen es co-liderado por nuestras brillantes mentes: Loic Magne, Anas Awadalla, Guanzhi Wang. Es una colaboración multi-institucional. ¡Consulta el hilo de análisis técnico de Guanzhi y los enlaces del repositorio a continuación!