Aqui está um equívoco comum sobre o RAG! A maioria das pessoas pensa que o RAG funciona assim: indexar um documento → recuperar o mesmo documento. Mas a indexação ≠ recuperação. O que você indexa não precisa ser o que você alimenta o LLM. Depois de entender isso, você pode construir sistemas RAG que realmente funcionem. Aqui estão 4 estratégias de indexação que separam um bom RAG de um ótimo RAG: 1) Indexação de Chunk ↳ Esta é a abordagem padrão. Divida documentos em partes, incorpore-os, armazene-os em um banco de dados vetorial e recupere as correspondências mais próximas. ↳ Simples e eficaz, mas pedaços grandes ou barulhentos prejudicarão sua precisão. 2) Indexação de sub-chunk ↳ Divida seus pedaços em subblocos menores para indexação, mas recupere o pedaço completo para contexto. ↳ Isso é poderoso quando uma única seção cobre vários conceitos. Você obtém uma melhor correspondência de consultas sem perder o contexto circundante de que seu LLM precisa. 3) Indexação de consultas ↳ Em vez de indexar o texto bruto, gere perguntas hipotéticas que o pedaço possa responder. Em vez disso, indexe essas perguntas. ↳ As consultas dos usuários se alinham naturalmente melhor com as perguntas do que o texto bruto do documento. Isso fecha a lacuna semântica entre o que os usuários perguntam e o que você armazenou. ...