Argomenti di tendenza
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Jim Fan
Direttore della robotica e scienziato illustre di NVIDIA. Co-Lead del laboratorio GEAR. Risolvere l'AGI fisica, un motore alla volta. Stanford Ph.D. 1° stagista di OpenAI.
Sono in una missione singolare per risolvere il Test di Turing Fisico per la robotica. È la prossima, o forse L'ULTIMA grande sfida dell'IA. La super-intelligenza nelle stringhe di testo vincerà un premio Nobel prima che abbiamo un'intelligenza da scimpanzé in agilità e destrezza. Il paradosso di Moravec è una maledizione da spezzare, un muro da abbattere. Nulla può ostacolare l'umanità e la produttività fisica esponenziale su questo pianeta, e forse un giorno su pianeti oltre.
Abbiamo avviato un piccolo laboratorio presso NVIDIA e siamo cresciuti fino a 30 persone molto recentemente. Il team lavora ben oltre le proprie possibilità. La nostra impronta di ricerca abbraccia modelli fondamentali, modelli del mondo, ragionamento incarnato, simulazione, controllo del corpo intero e molte varianti di RL - fondamentalmente l'intero stack dell'apprendimento robotico.
Quest'anno, abbiamo lanciato:
- modelli fondamentali GR00T VLA (visione-linguaggio-azione): open-sourced N1 a marzo, N1.5 a giugno e N1.6 questo mese;
- GR00T Dreams: modello del mondo video per scalare dati sintetici;
- SONIC: modello fondamentale di controllo del corpo intero umanoide;
- post-addestramento RL per VLAs e ricette RL per sim2real.
Questi non sarebbero stati possibili senza i numerosi team collaboratori di NVIDIA, un forte supporto della leadership e coautori provenienti da laboratori universitari. Grazie a tutti per aver creduto nella missione.
Thread sulla galleria dei traguardi:
217
L'Atari 2600 era il benchmark d'oro per gli agenti AI durante il mio dottorato. Una singola rete neurale in grado di giocare a oltre 50 giochi Atari sarebbe stata considerata straordinaria. I modelli faticavano a mappare uno schermo in scala di grigi pixelato 84x84 su pochi pulsanti.
Poi OpenAI Five (Dota) e AlphaStar di DeepMind hanno alzato il livello, battendo i migliori campioni del mondo negli Esports. Eppure si adattavano eccessivamente a un singolo ambiente virtuale alla volta. Cambiare qualcosa avrebbe rotto il modello all'istante.
Gli esseri umani sono straordinariamente bravi ad adattarsi a fisiche e regole molto diverse - qualcosa che continua a sfuggire ai nostri LLM più avanzati, su scala trilionaria. Pensa ai 1000 giochi come a 1000 simulazioni. Più mondi virtuali un agente può adattarsi, meglio sviluppa il ragionamento incarnato, la percezione e il coordinamento motorio. Tutti pezzi critici nel grande puzzle della robotica.
Aprendo il modello NitroGen e l'API Gym, perseguiamo lo stesso obiettivo di AlphaGo, AlphaStar, OpenAI Five e recentemente Google SIMA: non per togliere il divertimento da quei giochi, ma per evidenziare le limitazioni dell'AI moderna, fornire una solida base e creare un nuovo benchmark - "Atari 2.0" - per misurare i progressi di conseguenza.
20 dic, 01:15
Presentiamo NitroGen, un modello di fondazione open-source addestrato per giocare a oltre 1000 giochi: RPG, platformer, battle royale, corse, 2D, 3D, qualsiasi cosa! Siamo in una missione per agenti incarnati di uso generale che padroneggiano non solo la fisica del mondo reale, ma anche tutte le possibili fisiche attraverso un multiverso di simulazioni.
Abbiamo scoperto che la nostra architettura GR00T N1.5, originariamente progettata per la robotica, può essere facilmente adattata per giocare a molti giochi con meccaniche molto diverse. La nostra ricetta è semplice e amara: (1) un dataset di alta qualità di oltre 40K ore di gameplay pubblico; (2) un modello di fondazione altamente capace per il controllo motorio continuo; (3) un'API Gym che avvolge qualsiasi binario di gioco per eseguire rollout.
La nostra curatela dei dati è molto divertente: si scopre che i giocatori amano mostrare le loro abilità sovrapponendo il controllo del gamepad in tempo reale a un flusso video. Quindi addestriamo un modello di segmentazione per rilevare ed estrarre quelle visualizzazioni del gamepad e trasformarle in azioni esperte. Mascheriamo poi quella regione per impedire al modello di sfruttare una scorciatoia. Durante l'addestramento, una variante di GR00T N1.5 impara a mappare da 40K ore di pixel ad azioni attraverso trasformatori di diffusione.
NitroGen è solo l'inizio, e c'è molta strada da fare per migliorare le capacità. Ci concentriamo intenzionalmente solo sul lato del Sistema 1: l'"istinto del giocatore" del controllo motorio veloce. Rilasciamo *tutto* per permetterti di sperimentare: pesi del modello pre-addestrato, l'intero dataset di azioni, codice e un whitepaper con dettagli solidi.
Oggi, la robotica è un superset di problemi di AI complessi.
Domani, potrebbe diventare un subset, un punto nello spazio latente molto più grande dell'AGI incarnato.
Allora basta chiedere e "richiedere" un controllore robotico.
Potrebbe essere il gioco finale (gioco di parole voluto).
NitroGen è co-guidato dalle nostre menti brillanti: Loic Magne, Anas Awadalla, Guanzhi Wang. È una collaborazione multi-istituzionale. Dai un'occhiata al thread di approfondimento tecnico di Guanzhi e ai link del repo qui sotto!
527
Presentiamo NitroGen, un modello di fondazione open-source addestrato per giocare a oltre 1000 giochi: RPG, platformer, battle royale, corse, 2D, 3D, qualsiasi cosa! Siamo in una missione per agenti incarnati di uso generale che padroneggiano non solo la fisica del mondo reale, ma anche tutte le possibili fisiche attraverso un multiverso di simulazioni.
Abbiamo scoperto che la nostra architettura GR00T N1.5, originariamente progettata per la robotica, può essere facilmente adattata per giocare a molti giochi con meccaniche molto diverse. La nostra ricetta è semplice e amara: (1) un dataset di alta qualità di oltre 40K ore di gameplay pubblico; (2) un modello di fondazione altamente capace per il controllo motorio continuo; (3) un'API Gym che avvolge qualsiasi binario di gioco per eseguire rollout.
La nostra curatela dei dati è molto divertente: si scopre che i giocatori amano mostrare le loro abilità sovrapponendo il controllo del gamepad in tempo reale a un flusso video. Quindi addestriamo un modello di segmentazione per rilevare ed estrarre quelle visualizzazioni del gamepad e trasformarle in azioni esperte. Mascheriamo poi quella regione per impedire al modello di sfruttare una scorciatoia. Durante l'addestramento, una variante di GR00T N1.5 impara a mappare da 40K ore di pixel ad azioni attraverso trasformatori di diffusione.
NitroGen è solo l'inizio, e c'è molta strada da fare per migliorare le capacità. Ci concentriamo intenzionalmente solo sul lato del Sistema 1: l'"istinto del giocatore" del controllo motorio veloce. Rilasciamo *tutto* per permetterti di sperimentare: pesi del modello pre-addestrato, l'intero dataset di azioni, codice e un whitepaper con dettagli solidi.
Oggi, la robotica è un superset di problemi di AI complessi.
Domani, potrebbe diventare un subset, un punto nello spazio latente molto più grande dell'AGI incarnato.
Allora basta chiedere e "richiedere" un controllore robotico.
Potrebbe essere il gioco finale (gioco di parole voluto).
NitroGen è co-guidato dalle nostre menti brillanti: Loic Magne, Anas Awadalla, Guanzhi Wang. È una collaborazione multi-istituzionale. Dai un'occhiata al thread di approfondimento tecnico di Guanzhi e ai link del repo qui sotto!
476
Principali
Ranking
Preferiti