Giới thiệu NitroGen, một mô hình nền mã nguồn mở được đào tạo để chơi hơn 1000 trò chơi: RPG, platformer, battle royale, đua xe, 2D, 3D, bạn có thể đặt tên! Chúng tôi đang trên hành trình tìm kiếm các tác nhân thể hiện đa năng có khả năng làm chủ không chỉ vật lý thế giới thực, mà còn tất cả các loại vật lý có thể có trong một vũ trụ đa chiều của các mô phỏng. Chúng tôi phát hiện rằng kiến trúc GR00T N1.5 của chúng tôi, ban đầu được thiết kế cho robot, có thể dễ dàng được điều chỉnh để chơi nhiều trò chơi với cơ chế hoàn toàn khác nhau. Công thức của chúng tôi rất đơn giản và là một bài học đắng: (1) một tập dữ liệu chất lượng cao hơn 40K giờ về gameplay công khai; (2) một mô hình nền có khả năng cao cho điều khiển động cơ liên tục; (3) một Gym API bao bọc bất kỳ tệp nhị phân trò chơi nào để thực hiện các lần chạy thử. Việc biên soạn dữ liệu của chúng tôi rất thú vị: hóa ra game thủ thích thể hiện kỹ năng của họ bằng cách chồng lên điều khiển gamepad thời gian thực trên một luồng video. Vì vậy, chúng tôi đào tạo một mô hình phân đoạn để phát hiện và trích xuất những hiển thị gamepad đó và biến chúng thành các hành động chuyên gia. Sau đó, chúng tôi che khu vực đó để ngăn mô hình khai thác một lối tắt. Trong quá trình đào tạo, một biến thể của GR00T N1.5 học cách ánh xạ từ 40K giờ pixel sang hành động thông qua các biến thể khuếch tán. NitroGen chỉ là khởi đầu, và còn một chặng đường dài để leo lên khả năng. Chúng tôi cố tình chỉ tập trung vào phía Hệ thống 1: "bản năng game thủ" của việc điều khiển động cơ nhanh. Chúng tôi mã nguồn mở *mọi thứ* để bạn có thể thử nghiệm: trọng số mô hình đã được đào tạo trước, toàn bộ tập dữ liệu hành động, mã nguồn và một tài liệu trắng với các chi tiết vững chắc. Ngày nay, robotics là một tập hợp con của các vấn đề AI khó khăn. Ngày mai, nó có thể trở thành một tập con, một điểm trong không gian tiềm ẩn lớn hơn của AGI thể hiện. Sau đó, bạn chỉ cần yêu cầu và "hỏi" một bộ điều khiển robot. Đó có thể là trò chơi cuối cùng (chơi chữ có ý nghĩa). NitroGen được đồng lãnh đạo bởi những bộ óc xuất sắc của chúng tôi: Loic Magne, Anas Awadalla, Guanzhi Wang. Đây là một sự hợp tác đa tổ chức. Hãy xem bài thảo luận sâu kỹ thuật của Guanzhi và các liên kết repo bên dưới!