Ilya đã làm rõ và bổ sung về nội dung cuộc phỏng vấn của mình trên Twitter: > Có một điểm trong cuộc phỏng vấn mà tôi chưa nói rõ, xin bổ sung: > Tiếp tục theo phương pháp hiện tại để mở rộng quy mô - tăng cường sức mạnh tính toán, tăng dữ liệu, tăng môi trường huấn luyện - chắc chắn sẽ mang lại cải tiến. Sẽ không dừng lại, sẽ tiếp tục tốt hơn. > Nhưng, luôn có một điều gì đó quan trọng bị thiếu. Điều này nhằm sửa chữa một hiểu lầm có thể xảy ra. Trong cuộc phỏng vấn, anh ấy đã nói rất nhiều về "trở lại thời kỳ nghiên cứu" và "phương pháp hiện tại sẽ gặp bế tắc", dễ khiến người ta nghĩ rằng anh ấy đang bi quan về quy luật mở rộng, cho rằng việc tiếp tục tăng cường sức mạnh tính toán, tăng dữ liệu và huấn luyện RL sẽ không hiệu quả. Anh ấy nói không phải như vậy, con đường hiện tại sẽ tiếp tục mang lại cải tiến, sẽ không dừng lại. Mô hình sẽ tiếp tục mạnh mẽ hơn, benchmark sẽ tiếp tục tăng, sản phẩm sẽ tiếp tục được cải tiến, công ty sẽ tiếp tục kiếm tiền. Chú ý đến "nhưng" ở phía sau. Có những thứ mà bạn không thể đạt được dù có mở rộng quy mô đến đâu. Điều này giống như bạn đang luyện tập chạy nước rút. Tiếp tục luyện tập, thành tích sẽ còn cải thiện, từ 12 giây xuống 11 giây 5, rồi đến 11 giây, thậm chí 10 giây 9. Đây là sự tiến bộ thực sự. Nhưng nếu mục tiêu của bạn là học cách bay, thì dù bạn chạy nhanh đến đâu cũng vô ích, điều đó cần một khả năng hoàn toàn khác. Thiếu điều gì? Kết hợp với nội dung cuộc phỏng vấn, "sự thiếu hụt quan trọng" này có lẽ chỉ ra: 1. Khả năng tổng quát thực sự Không phải là có thể thực hiện nhiều nhiệm vụ sau khi được huấn luyện trên một lượng dữ liệu khổng lồ, mà là có thể học nhanh những điều mới từ rất ít kinh nghiệm, và những điều đã học được cũng ổn định và đáng tin cậy trong các tình huống mới. 2. Học tập hiệu quả Con người học lái xe trong 10 giờ, học lập trình trong vài tháng là có thể làm việc. Hiệu suất này không thể đạt được chỉ bằng cách huấn luyện trên một lượng dữ liệu khổng lồ. Phép so sánh "hai sinh viên" trong cuộc phỏng vấn rất rõ ràng. Sinh viên đã làm bài trong 10.000 giờ thực sự có thể tiếp tục cải thiện thành tích thi đấu, từ 10% đầu vào 1% đầu đến vô địch, đây là sự tiến bộ thực sự. Nhưng anh ta sẽ không bao giờ trở thành sinh viên chỉ cần luyện tập 100 giờ đã thể hiện được "trí tuệ".