Theo dõi thú vị về công việc Physical Atari của chúng tôi. Những người chỉ sử dụng RL với các môi trường mô phỏng nhanh và đơn giản thường đánh giá thấp độ phức tạp của thế giới thực; họ cuối cùng phát triển các mục tiêu nghiên cứu không thể đạt được trong các môi trường phức tạp (ví dụ: tổng quát không có ví dụ, học các mô hình nguyên nhân). Physical Atari vẫn là một môi trường cực kỳ đơn giản và vẫn đủ để làm nổi bật những hạn chế của các phương pháp được phát triển để học với các mô phỏng nhanh. Con người và động vật học trong những môi trường phức tạp hơn nhiều so với Physical Atari. Phát triển các thuật toán có thể làm được điều tương tự nên là mục tiêu nếu chúng ta muốn có trí tuệ phong phú.

Tôi rất ngạc nhiên về Ilya. Anh ấy đã xác định một số khía cạnh chính của trí tuệ mà hầu như không có trong cuộc thảo luận phổ biến về AI. Những điều này là: 1. Trí tuệ là khả năng học hỏi chứ không phải là biết nhiều điều. Mục tiêu đúng đắn là một hệ thống có thể học hỏi từ kinh nghiệm trong quá trình triển khai. 2. Cần có một hàm giá trị để học hỏi hiệu quả như con người. Nó có thể cung cấp phản hồi dày đặc (học TD) trong trường hợp không có phần thưởng. Cả hai điều này đều cần thiết và khả thi. Một nút thắt chính là chúng ta không có các thuật toán có thể học hỏi một cách đáng tin cậy với lượng tính toán tương tự như suy diễn. Những thuật toán như vậy là cần thiết nếu chúng ta muốn học hỏi liên tục. Tôi nghĩ chúng ta đang gần đến điều đó. Chúng ta chỉ không có đủ người làm việc để tìm ra những thuật toán này. Tôi cũng vui mừng khi Ilya thừa nhận rằng để tiến bộ, chúng ta cần nhiều ý tưởng hơn chứ không chỉ là nhiều tính toán hơn. Tôi dự đoán rằng những cải tiến thuật toán chính có thể được thực hiện với một lượng tính toán tương đối nhỏ. Một vài GPU với nhiều lõi CUDA (5090 hoặc tốt hơn) mỗi người, hoặc một vài CPU đa lõi hiện đại (9995 WX hoặc tốt hơn) mỗi người, là đủ để tìm ra thuật toán đúng. Các cuộc trình diễn quy mô lớn chỉ quan trọng để thuyết phục phần còn lại của thế giới rằng bạn đã tìm ra công thức đúng cho việc học. *Tensor Cores không đủ linh hoạt để thử nghiệm các ý tưởng mới một cách nhanh chóng.