Introductie van NitroGen, een open-source foundation model dat is getraind om meer dan 1000 games te spelen: RPG, platformgame, battle royale, racen, 2D, 3D, noem maar op! We zijn op een zoektocht naar algemene belichaamde agenten die niet alleen de natuurkunde van de echte wereld beheersen, maar ook alle mogelijke natuurkunde in een multiversum van simulaties. We hebben ontdekt dat onze GR00T N1.5-architectuur, oorspronkelijk ontworpen voor robotica, gemakkelijk kan worden aangepast om veel games met totaal verschillende mechanics te spelen. Ons recept is eenvoudig en bitter les-gevuld: (1) een dataset van meer dan 40K uur, hoogwaardige openbare gameplay in het wild; (2) een zeer capabel foundation model voor continue motorische controle; (3) een Gym API die elke game-binary omhult om rollouts uit te voeren. Onze datacuratie is erg leuk: het blijkt dat gamers graag hun vaardigheden tonen door real-time gamepadcontrole op een videostream te overlayen. Dus trainen we een segmentatiemodel om die gamepadweergaven te detecteren en te extraheren en ze om te zetten in expertacties. We maskeren vervolgens dat gebied om te voorkomen dat het model een shortcut benut. Tijdens de training leert een variant van GR00T N1.5 om van 40K uur pixels naar acties te mappen via diffusietransformatoren. NitroGen is pas het begin, en er is nog een lange weg te gaan om de capaciteiten te verbeteren. We richten ons opzettelijk alleen op de System 1-kant: de "gamerinstinct" van snelle motorische controle. We open-source *alles* zodat je kunt experimenteren: voorgetrainde modelgewichten, de volledige actiedataset, code en een whitepaper met solide details. Vandaag de dag is robotica een superset van moeilijke AI-problemen. Morgen kan het een subset worden, een stip in de veel grotere latente ruimte van belichaamde AGI. Dan vraag je gewoon om een robotcontroller. Dat zou het eindspel kunnen zijn (woordspeling bedoeld). NitroGen wordt mede geleid door onze briljante geesten: Loic Magne, Anas Awadalla, Guanzhi Wang. Het is een samenwerking tussen meerdere instellingen. Bekijk Guanzhi's technische diepgaande thread en repo-links hieronder!