Presentiamo NitroGen, un modello di fondazione open-source addestrato per giocare a oltre 1000 giochi: RPG, platformer, battle royale, corse, 2D, 3D, qualsiasi cosa! Siamo in una missione per agenti incarnati di uso generale che padroneggiano non solo la fisica del mondo reale, ma anche tutte le possibili fisiche attraverso un multiverso di simulazioni. Abbiamo scoperto che la nostra architettura GR00T N1.5, originariamente progettata per la robotica, può essere facilmente adattata per giocare a molti giochi con meccaniche molto diverse. La nostra ricetta è semplice e amara: (1) un dataset di alta qualità di oltre 40K ore di gameplay pubblico; (2) un modello di fondazione altamente capace per il controllo motorio continuo; (3) un'API Gym che avvolge qualsiasi binario di gioco per eseguire rollout. La nostra curatela dei dati è molto divertente: si scopre che i giocatori amano mostrare le loro abilità sovrapponendo il controllo del gamepad in tempo reale a un flusso video. Quindi addestriamo un modello di segmentazione per rilevare ed estrarre quelle visualizzazioni del gamepad e trasformarle in azioni esperte. Mascheriamo poi quella regione per impedire al modello di sfruttare una scorciatoia. Durante l'addestramento, una variante di GR00T N1.5 impara a mappare da 40K ore di pixel ad azioni attraverso trasformatori di diffusione. NitroGen è solo l'inizio, e c'è molta strada da fare per migliorare le capacità. Ci concentriamo intenzionalmente solo sul lato del Sistema 1: l'"istinto del giocatore" del controllo motorio veloce. Rilasciamo *tutto* per permetterti di sperimentare: pesi del modello pre-addestrato, l'intero dataset di azioni, codice e un whitepaper con dettagli solidi. Oggi, la robotica è un superset di problemi di AI complessi. Domani, potrebbe diventare un subset, un punto nello spazio latente molto più grande dell'AGI incarnato. Allora basta chiedere e "richiedere" un controllore robotico. Potrebbe essere il gioco finale (gioco di parole voluto). NitroGen è co-guidato dalle nostre menti brillanti: Loic Magne, Anas Awadalla, Guanzhi Wang. È una collaborazione multi-istituzionale. Dai un'occhiata al thread di approfondimento tecnico di Guanzhi e ai link del repo qui sotto!