Знайомтеся з NitroGen — відкритою базовою моделлю, навченою грати в 1000+ ігор: RPG, платформери, батл-рояль, гонки, 2D, 3D — що завгодно! Ми шукаємо універсальних втілених агентів, які володіють не лише реальною фізикою, а й усіма можливоми фізичними аспектами мультивсесвіту симуляцій. Ми з'ясували, що наша архітектура GR00T N1.5, спочатку розроблена для робототехніки, легко адаптується для гри в багато ігор із абсолютно різними механіками. Наш рецепт простий і гіркий урок: (1) 40K+ годинний, якісний набір даних публічного ігрового процесу у дикій природі; (2) високофункціональна базова модель для безперервного керування мотором; (3) Gym API, який обгортає будь-який ігровий бінарний файл для запуску розгортань. Наша підборка даних — це справжнє задоволення: виявляється, геймери люблять демонструвати свої навички, накладаючи керування геймпадом у реальному часі на відеопотік. Тому ми навчаємо сегментаційну модель виявляти та витягувати ці дисплеї геймпада і перетворювати їх на експертні дії. Потім ми маскуємо цю область, щоб модель не використовувала короткий шлях. Під час навчання варіант GR00T N1.5 навчається відтворювати від 40 тисяч годин пікселів до дій за допомогою дифузійних трансформаторів. NitroGen — це лише початок, і попереду ще довгий шлях до підняття на пагорб у цій можливості. Ми свідомо зосереджуємося лише на стороні System 1: «геймерському інстинкті» швидкого керування моторами. Ми відкриваємо *все* для вас, щоб ви могли експериментувати: попередньо навчені ваги моделей, повний набір даних дій, код і whitepaper з чіткими деталями. Сьогодні робототехніка — це набір складних задач ШІ. Завтра вона може стати підмножиною, крапкою у значно більшому латентному просторі втіленого AGI. Потім просто запитуєте і «запитуєте» роботизований контролер. Можливо, це і є кінцева мета (гра слів навмисна). NitroGen спільно очолюють наші блискучі уми: Лоїк Магне, Анас Авадалла, Гуаньчжі Ван. Це міжінституційна співпраця. Перегляньте технічну детальну тему Guanzhi та посилання на репозиторію нижче!