Oto powszechne nieporozumienie dotyczące RAG! Większość ludzi myśli, że RAG działa w ten sposób: indeksuj dokument → odzyskaj ten sam dokument. Ale indeksowanie ≠ odzyskiwanie. To, co indeksujesz, nie musi być tym, co podajesz LLM. Gdy to zrozumiesz, możesz zbudować systemy RAG, które naprawdę działają. Oto 4 strategie indeksowania, które oddzielają dobry RAG od świetnego RAG: 1) Indeksowanie fragmentów ↳ To standardowe podejście. Podziel dokumenty na fragmenty, osadź je, przechowuj w bazie danych wektorowej i odzyskaj najbliższe dopasowania. ↳ Proste i skuteczne, ale duże lub hałaśliwe fragmenty mogą zaszkodzić twojej precyzji. 2) Indeksowanie podfragmentów ↳ Podziel swoje fragmenty na mniejsze podfragmenty do indeksowania, ale odzyskaj pełny fragment dla kontekstu. ↳ To jest potężne, gdy jedna sekcja obejmuje wiele koncepcji. Uzyskujesz lepsze dopasowanie zapytań, nie tracąc otaczającego kontekstu, którego potrzebuje twój LLM. 3) Indeksowanie zapytań ↳ Zamiast indeksować surowy tekst, generuj hipotetyczne pytania, na które fragment mógłby odpowiedzieć. Indeksuj te pytania zamiast tego. ↳ Zapytania użytkowników naturalnie lepiej pasują do pytań niż do surowego tekstu dokumentu. To zamyka semantyczną lukę między tym, co pytają użytkownicy, a tym, co przechowujesz. ...