Vă prezentăm NitroGen, un model de fundație open-source antrenat să joace 1000+ jocuri: RPG, platformer, battle royale, curse, 2D, 3D, orice vrei! Suntem în căutarea unor agenți întrupați cu scop general care să stăpânească nu doar fizica lumii reale, ci și toată fizica posibilă într-un multivers de simulări. Am descoperit că arhitectura noastră GR00T N1.5, proiectată inițial pentru robotică, poate fi adaptată ușor pentru a juca multe jocuri cu mecanici complet diferite. Rețeta noastră este simplă și plină de lecții amare: (1) un set de date de 40K+ ore, de înaltă calitate, despre gameplay-ul public în sălbăticie; (2) un model de fundație foarte capabil pentru controlul motor continuu; (3) un API Gym care înfășoară orice binar al jocului pentru a rula rollout-uri. Selectarea noastră de date este foarte distractivă: se pare că gamerii adoră să-și arate abilitățile suprapunând controlul în timp real al gamepad-ului pe un flux video. Așadar, antrenăm un model de segmentare pentru a detecta și extrage acele afișaje ale gamepad-ului și a le transforma în acțiuni de expert. Apoi mascăm acea regiune pentru a preveni exploatarea unei scurtături de către model. În timpul antrenamentului, o variantă a GR00T N1.5 învață să mapeze de la 40K ore de pixeli la acțiuni prin transformatoare de difuzie. Azotul este doar începutul, iar această capacitate mai este mult de urcat pe dealuri. Ne concentrăm intenționat doar pe partea Sistemului 1: "instinctul gamerului" al controlului motor rapid. Oferim open source *tot* pentru tine: greutăți preantrenate ale modelelor, întregul set de date de acțiuni, cod și un whitepaper cu detalii solide. Astăzi, robotica este un superset al problemelor dificile de inteligență artificială. Mâine, ar putea deveni un subset, un punct în spațiul latent mult mai mare al AGI întrupată. Apoi doar ceri și "cere" un controler robot. Acesta ar putea fi scopul final (joc de cuvinte intenționat). NitroGen este co-condus de mințile noastre strălucite: Loic Magne, Anas Awadalla, Guanzhi Wang. Este o colaborare multi-instituțională. Verifică mai jos thread-ul tehnic de analiză și linkurile pentru repo-uri de la Guanzhi!