Apresentando o NitroGen, um modelo de fundação de código aberto treinado para jogar mais de 1000 jogos: RPG, plataforma, battle royale, corrida, 2D, 3D, você nomeia! Estamos em uma busca por agentes corporais de propósito geral que dominem não apenas a física do mundo real, mas também todas as possíveis físicas em um multiverso de simulações. Descobrimos que nossa arquitetura GR00T N1.5, originalmente projetada para robótica, pode ser facilmente adaptada para jogar muitos jogos com mecânicas extremamente diferentes. Nossa receita é simples e amarga: (1) um conjunto de dados de alta qualidade de mais de 40K horas de jogabilidade pública; (2) um modelo de fundação altamente capaz para controle motor contínuo; (3) uma API Gym que envolve qualquer binário de jogo para executar rollouts. Nossa curadoria de dados é muito divertida: acontece que os jogadores adoram mostrar suas habilidades sobrepondo o controle do gamepad em tempo real a um stream de vídeo. Então, treinamos um modelo de segmentação para detectar e extrair essas exibições de gamepad e transformá-las em ações de especialista. Em seguida, mascaramos essa região para evitar que o modelo explore um atalho. Durante o treinamento, uma variante do GR00T N1.5 aprende a mapear de 40K horas de pixels para ações através de transformadores de difusão. NitroGen é apenas o começo, e há um longo caminho a percorrer em termos de capacidade. Focamos intencionalmente apenas no lado do Sistema 1: o "instinto do jogador" de controle motor rápido. Abrimos *tudo* para você experimentar: pesos de modelo pré-treinados, todo o conjunto de dados de ações, código e um whitepaper com detalhes sólidos. Hoje, a robótica é um superconjunto de problemas difíceis de IA. Amanhã, pode se tornar um subconjunto, um ponto no espaço latente muito maior da AGI incorporada. Então você apenas solicita e "pede" um controlador robótico. Isso pode ser o jogo final (trocadilho intencional). NitroGen é co-liderado por nossas mentes brilhantes: Loic Magne, Anas Awadalla, Guanzhi Wang. É uma colaboração multi-institucional. Confira o thread técnico aprofundado de Guanzhi e os links do repositório abaixo!