Je ne me suis jamais senti aussi en retard en tant que programmeur. La profession est en train d'être dramatiquement refondue alors que les contributions des programmeurs deviennent de plus en plus rares et éparses. J'ai le sentiment que je pourrais être 10 fois plus puissant si je parvenais simplement à bien assembler ce qui est devenu disponible au cours de l'année écoulée, et le fait de ne pas saisir cette opportunité ressemble clairement à un problème de compétence. Il y a une nouvelle couche d'abstraction programmable à maîtriser (en plus des couches habituelles en dessous) impliquant des agents, des sous-agents, leurs invites, contextes, mémoires, modes, permissions, outils, plugins, compétences, hooks, MCP, LSP, commandes slash, flux de travail, intégrations IDE, et un besoin de construire un modèle mental englobant pour les forces et les faiblesses d'entités fondamentalement stochastiques, faillibles, incompréhensibles et changeantes, soudainement mêlées à ce qui était autrefois le bon vieux génie. Clairement, un puissant outil extraterrestre a été distribué, sauf qu'il n'est accompagné d'aucun manuel et que tout le monde doit comprendre comment le tenir et l'utiliser, tandis que le tremblement de terre de magnitude 9 qui en résulte secoue la profession. Retroussez vos manches pour ne pas prendre de retard.

Présentation de NitroGen, un modèle de fondation open-source entraîné pour jouer à plus de 1000 jeux : RPG, plateforme, battle royale, course, 2D, 3D, vous l'appelez ! Nous sommes en quête d'agents incarnés à usage général qui maîtrisent non seulement la physique du monde réel, mais aussi toutes les physiques possibles à travers un multivers de simulations. Nous avons découvert que notre architecture GR00T N1.5, initialement conçue pour la robotique, peut être facilement adaptée pour jouer à de nombreux jeux avec des mécaniques très différentes. Notre recette est simple et tirée d'une leçon amère : (1) un ensemble de données de haute qualité de plus de 40K heures de gameplay public dans la nature ; (2) un modèle de fondation très capable pour le contrôle moteur continu ; (3) une API Gym qui enveloppe n'importe quel binaire de jeu pour exécuter des rollouts. Notre curation de données est très amusante : il s'avère que les joueurs adorent montrer leurs compétences en superposant le contrôle de la manette en temps réel sur un flux vidéo. Nous entraînons donc un modèle de segmentation pour détecter et extraire ces affichages de manette et les transformer en actions d'expert. Nous masquons ensuite cette région pour empêcher le modèle d'exploiter un raccourci. Pendant l'entraînement, une variante de GR00T N1.5 apprend à mapper 40K heures de pixels à des actions à travers des transformateurs de diffusion. NitroGen n'est que le début, et il reste encore un long chemin à parcourir pour grimper en capacité. Nous nous concentrons intentionnellement uniquement sur le côté Système 1 : l'"instinct de joueur" du contrôle moteur rapide. Nous open-source *tout* pour que vous puissiez expérimenter : poids de modèle pré-entraînés, l'ensemble de données d'actions complet, code, et un livre blanc avec des détails solides. Aujourd'hui, la robotique est un sur-ensemble de problèmes d'IA difficiles. Demain, cela pourrait devenir un sous-ensemble, un point dans l'espace latent beaucoup plus vaste de l'AGI incarnée. Alors vous n'avez qu'à demander et "demander" un contrôleur de robot. Cela pourrait être le jeu final (jeu de mots intentionnel). NitroGen est co-dirigé par nos esprits brillants : Loic Magne, Anas Awadalla, Guanzhi Wang. C'est une collaboration multi-institutionnelle. Consultez le fil technique approfondi de Guanzhi et les liens du dépôt ci-dessous !