Wow, AI có thể học từ một tài liệu trong khi nó đọc nó? Các nhà nghiên cứu từ Viện Astera, NVIDIA và những người khác trình bày một phương pháp mới coi việc mô hình hóa ngữ cảnh dài là một vấn đề học tập liên tục. Họ sử dụng một Transformer tiêu chuẩn, nhưng nó "học" văn bản theo thời gian thực thông qua dự đoán token tiếp theo, nén ngữ cảnh vào các tham số của chính nó. Nó vượt trội hơn các mô hình như Mamba 2 và Gated DeltaNet trong việc mở rộng đến các ngữ cảnh dài, trong khi nhanh hơn 2.7 lần so với sự chú ý đầy đủ cho 128K đầu vào. Đào tạo Thời gian Kiểm tra Từ Đầu đến Cuối cho Ngữ cảnh Dài Bài báo: