Aqui está um equívoco comum sobre RAG! A maioria das pessoas pensa que RAG funciona assim: indexar um documento → recuperar esse mesmo documento. Mas indexar ≠ recuperação. O que você indexa não precisa ser o que você alimenta ao LLM. Uma vez que você entende isso, pode construir sistemas RAG que realmente funcionam. Aqui estão 4 estratégias de indexação que separam um bom RAG de um grande RAG: 1) Indexação em Blocos ↳ Esta é a abordagem padrão. Divida documentos em blocos, incorpore-os, armazene em um banco de dados vetorial e recupere as correspondências mais próximas. ↳ Simples e eficaz, mas blocos grandes ou ruidosos prejudicarão sua precisão. 2) Indexação em Sub-blocos ↳ Quebre seus blocos em sub-blocos menores para indexação, mas recupere o bloco completo para contexto. ↳ Isso é poderoso quando uma única seção cobre múltiplos conceitos. Você obtém uma melhor correspondência de consulta sem perder o contexto ao redor que seu LLM precisa. 3) Indexação de Consultas ↳ Em vez de indexar texto bruto, gere perguntas hipotéticas que o bloco poderia responder. Indexe essas perguntas em vez disso. ↳ As consultas dos usuários naturalmente se alinham melhor com perguntas do que com texto bruto do documento. Isso fecha a lacuna semântica entre o que os usuários perguntam e o que você armazenou. ...