Apresentando o NitroGen, um modelo de fundação open-source treinado para jogar 1000+ jogos: RPG, plataforma, battle royale, corridas, 2D, 3D, você imaginar! Estamos em busca de agentes corporados de uso geral que dominem não apenas a física do mundo real, mas também toda a física possível em um multiverso de simulações. Descobrimos que nossa arquitetura GR00T N1.5, originalmente projetada para robótica, pode ser facilmente adaptada para jogar muitos jogos com mecânicas completamente diferentes. Nossa receita é simples e amarga: (1) um conjunto de dados de alta qualidade de 40K+ horas de gameplay público na natureza; (2) um modelo de fundação altamente capaz para controle motor contínuo; (3) uma API de Gym que envolve qualquer binário do jogo para executar lançamentos. Nossa curadoria de dados é muito divertida: acontece que os jogadores adoram mostrar suas habilidades sobrepondo o controle em tempo real do controle do gamepad em uma transmissão de vídeo. Então treinamos um modelo de segmentação para detectar e extrair essas telas de controle e transformá-las em ações de especialistas. Depois, mascaramos essa região para evitar que o modelo explore um atalho. Durante o treinamento, uma variante do GR00T N1.5 aprende a mapear de 40 mil horas de pixels para ações por meio de transformadores de difusão. Nitrogênio é só o começo, e ainda há um longo caminho para subir morros nessa capacidade. Focamos intencionalmente apenas no lado do Sistema 1: o "instinto gamer" de controle motor rápido. Disponibilizamos *tudo* para você experimentar: pesos pré-treinados dos modelos, todo o conjunto de dados de ações, código e um whitepaper com detalhes sólidos. Hoje, robótica é um superconjunto de problemas difíceis de IA. Amanhã, pode se tornar um subconjunto, um ponto no espaço latente muito maior da AGI incorporada. Aí você só solicita e "pede" um controle robô. Esse pode ser o objetivo final (trocadilho intencional). NitroGen é co-liderado por nossas mentes brilhantes: Loic Magne, Anas Awadalla, Guanzhi Wang. É uma colaboração multi-institucional. Confira abaixo o tópico de análise técnica e os links do repositório da Guanzhi!