Đây là một hiểu lầm phổ biến về RAG! Hầu hết mọi người nghĩ rằng RAG hoạt động như thế này: lập chỉ mục một tài liệu → truy xuất tài liệu đó. Nhưng lập chỉ mục ≠ truy xuất. Những gì bạn lập chỉ mục không nhất thiết phải là những gì bạn cung cấp cho LLM. Khi bạn hiểu điều này, bạn có thể xây dựng các hệ thống RAG thực sự hoạt động. Dưới đây là 4 chiến lược lập chỉ mục phân biệt RAG tốt với RAG tuyệt vời: 1) Lập chỉ mục theo khối ↳ Đây là phương pháp tiêu chuẩn. Chia tài liệu thành các khối, nhúng chúng, lưu trữ trong cơ sở dữ liệu vector và truy xuất các kết quả gần nhất. ↳ Đơn giản và hiệu quả, nhưng các khối lớn hoặc ồn ào sẽ làm giảm độ chính xác của bạn. 2) Lập chỉ mục theo tiểu khối ↳ Chia các khối của bạn thành các tiểu khối nhỏ hơn để lập chỉ mục, nhưng truy xuất toàn bộ khối để có ngữ cảnh. ↳ Điều này rất mạnh mẽ khi một phần duy nhất bao gồm nhiều khái niệm. Bạn có được sự khớp truy vấn tốt hơn mà không mất đi ngữ cảnh xung quanh mà LLM của bạn cần. 3) Lập chỉ mục theo truy vấn ↳ Thay vì lập chỉ mục văn bản thô, hãy tạo ra các câu hỏi giả thuyết mà khối có thể trả lời. Lập chỉ mục những câu hỏi đó thay vì. ↳ Các truy vấn của người dùng tự nhiên phù hợp hơn với các câu hỏi hơn là văn bản tài liệu thô. Điều này thu hẹp khoảng cách ngữ nghĩa giữa những gì người dùng hỏi và những gì bạn đã lưu trữ. ...