Nghiên cứu MỚI từ Apple. Khi bạn nghĩ về nó, các hệ thống RAG về cơ bản là bị hỏng. Lấy và tạo ra được tối ưu hóa riêng biệt, lấy tài liệu chọn dựa trên sự tương đồng bề mặt trong khi các bộ sinh tạo ra câu trả lời mà không có phản hồi về thông tin nào là thực sự cần thiết. Có một sự không khớp về kiến trúc. Các bộ lấy dày đặc xếp hạng tài liệu trong không gian nhúng trong khi các bộ sinh tiêu thụ văn bản thô. Điều này tạo ra các không gian đại diện không nhất quán ngăn cản tối ưu hóa đầu cuối, xử lý văn bản dư thừa gây ra tràn ngữ cảnh, và mã hóa trùng lặp cho cả việc lấy và tạo ra. Nghiên cứu mới này giới thiệu CLaRa, một khung thống nhất thực hiện việc lấy và tạo ra trên các đại diện tài liệu liên tục chia sẻ. Họ mã hóa tài liệu một lần thành các đại diện token bộ nhớ gọn gàng phục vụ cho cả hai mục đích. Thay vì duy trì các nhúng và văn bản thô riêng biệt, tài liệu được nén thành các vector dày đặc mà cả bộ lấy và bộ sinh đều hoạt động trực tiếp. Điều này cho phép một điều gì đó trước đây không thể: các gradient chảy từ bộ sinh trở lại bộ lấy thông qua một bộ chọn top-k có thể phân biệt sử dụng ước lượng Straight-Through. Bộ lấy học được tài liệu nào thực sự nâng cao việc tạo ra câu trả lời thay vì dựa vào sự tương đồng bề mặt. Để làm cho việc nén hoạt động, họ giới thiệu SCP, một khung tiền huấn luyện tổng hợp các cặp QA và diễn giải để dạy bộ nén thông tin nào là thiết yếu. QA đơn giản nắm bắt các sự thật nguyên tử, QA phức tạp thúc đẩy lý luận quan hệ, và diễn giải bảo tồn ngữ nghĩa trong khi thay đổi hình thức bề mặt. Kết quả: Tại mức nén 16x, CLaRa-Mistral-7B vượt qua DRO-Mistral-7B dựa trên văn bản trên NQ (51.41 so với 51.01 F1) và 2Wiki (47.18 so với 43.65 F1) trong khi xử lý ít ngữ cảnh hơn nhiều. Tại mức nén 4x, nó vượt qua các chuẩn văn bản không nén trung bình 2.36% trên Mistral-7B. Đáng chú ý nhất, CLaRa được huấn luyện chỉ với sự giám sát yếu từ dự đoán token tiếp theo vượt trội hơn các bộ lấy được giám sát hoàn toàn với nhãn độ liên quan thực tế. Trên HotpotQA, nó đạt 96.21% Recall@5, vượt qua BGE-Reranker (85.93%) hơn 10 điểm mặc dù không sử dụng dữ liệu độ liên quan đã được chú thích. Nén mềm được huấn luyện tốt có thể giữ lại thông tin lý luận thiết yếu trong khi giảm đáng kể độ dài đầu vào. Các đại diện nén lọc ra nội dung không liên quan và tập trung bộ sinh vào ngữ cảnh liên quan đến lý luận, dẫn đến khả năng tổng quát tốt hơn so với các đầu vào văn bản thô. Đọc tuyệt vời cho các nhà phát triển AI. (đánh dấu nó) Bài báo: Học cách xây dựng với RAG và AI Agents trong học viện của tôi: