Présentation de NitroGen, un modèle de fondation open-source entraîné pour jouer à plus de 1000 jeux : RPG, plateforme, battle royale, course, 2D, 3D, vous l'appelez ! Nous sommes en quête d'agents incarnés à usage général qui maîtrisent non seulement la physique du monde réel, mais aussi toutes les physiques possibles à travers un multivers de simulations. Nous avons découvert que notre architecture GR00T N1.5, initialement conçue pour la robotique, peut être facilement adaptée pour jouer à de nombreux jeux avec des mécaniques très différentes. Notre recette est simple et tirée d'une leçon amère : (1) un ensemble de données de haute qualité de plus de 40K heures de gameplay public dans la nature ; (2) un modèle de fondation très capable pour le contrôle moteur continu ; (3) une API Gym qui enveloppe n'importe quel binaire de jeu pour exécuter des rollouts. Notre curation de données est très amusante : il s'avère que les joueurs adorent montrer leurs compétences en superposant le contrôle de la manette en temps réel sur un flux vidéo. Nous entraînons donc un modèle de segmentation pour détecter et extraire ces affichages de manette et les transformer en actions d'expert. Nous masquons ensuite cette région pour empêcher le modèle d'exploiter un raccourci. Pendant l'entraînement, une variante de GR00T N1.5 apprend à mapper 40K heures de pixels à des actions à travers des transformateurs de diffusion. NitroGen n'est que le début, et il reste encore un long chemin à parcourir pour grimper en capacité. Nous nous concentrons intentionnellement uniquement sur le côté Système 1 : l'"instinct de joueur" du contrôle moteur rapide. Nous open-source *tout* pour que vous puissiez expérimenter : poids de modèle pré-entraînés, l'ensemble de données d'actions complet, code, et un livre blanc avec des détails solides. Aujourd'hui, la robotique est un sur-ensemble de problèmes d'IA difficiles. Demain, cela pourrait devenir un sous-ensemble, un point dans l'espace latent beaucoup plus vaste de l'AGI incarnée. Alors vous n'avez qu'à demander et "demander" un contrôleur de robot. Cela pourrait être le jeu final (jeu de mots intentionnel). NitroGen est co-dirigé par nos esprits brillants : Loic Magne, Anas Awadalla, Guanzhi Wang. C'est une collaboration multi-institutionnelle. Consultez le fil technique approfondi de Guanzhi et les liens du dépôt ci-dessous !