Ось поширена помилка про RAG! Більшість людей думають, що RAG працює так: індексує документ → отримує той самий документ. Але індексація ≠ пошуком. Те, що ви індексуєте, не обов'язково має бути тим, чим ви годуєте LLM. Як тільки ви це зрозумієте, ви зможете створювати системи RAG, які дійсно працюють. Ось 4 стратегії індексації, які відрізняють хороший RAG від чудового RAG: 1) Індексація фрагментів ↳ Це стандартний підхід. Розбивайте документи на фрагменти, вбудовуйте їх, зберігайте у векторній базі даних і отримуйте найближчі збіги. ↳ Прості та ефективні, але великі або галасливі шматки зашкодять вашій точності. 2) Індексація підфрагментів ↳ Розбийте свої шматки на менші підчастини для індексації, але отримайте повний фрагмент для контексту. ↳ Це потужно, коли один розділ охоплює кілька понять. Ви отримуєте кращу відповідність запитів без втрати навколишнього контексту, необхідного вашому LLM. 3) Індексація запитів ↳ Замість індексації сирого тексту, генеруйте гіпотетичні питання, на які фрагмент міг би відповісти. Натомість індексуйте ці запитання. ↳ Запити користувачів, природно, краще узгоджуються з питаннями, ніж необроблений текст документа. Це усуває семантичний розрив між тим, що запитують користувачі, і тим, що ви зберегли. ...