¡Aquí hay un concepto erróneo común sobre RAG! La mayoría de la gente piensa que RAG funciona así: indexar un documento → recuperar ese mismo documento. Pero la indexación ≠ recuperación. Lo que indexas no tiene que ser lo que alimentas al LLM. Una vez que comprenda esto, puede crear sistemas RAG que realmente funcionen. Aquí hay 4 estrategias de indexación que separan un buen RAG de un gran RAG: 1) Indexación de fragmentos ↳ Este es el enfoque estándar. Divida los documentos en fragmentos, insértelos, guárdelos en una base de datos vectorial y recupere las coincidencias más cercanas. ↳ Simple y efectivo, pero los trozos grandes o ruidosos dañarán su precisión. 2) Indexación de subfragmentos ↳ Divida sus fragmentos en subfragmentos más pequeños para indexarlos, pero recupere el fragmento completo para contextualizar. ↳ Esto es poderoso cuando una sola sección cubre múltiples conceptos. Obtiene una mejor coincidencia de consultas sin perder el contexto circundante que necesita su LLM. 3) Indexación de consultas ↳ En lugar de indexar texto sin procesar, genere preguntas hipotéticas que el fragmento podría responder. En su lugar, indexe esas preguntas. ↳ Las consultas de los usuarios se alinean mejor con las preguntas que el texto de los documentos sin procesar. Esto cierra la brecha semántica entre lo que los usuarios preguntan y lo que ha almacenado. ...