Voici une idée reçue courante sur RAG ! La plupart des gens pensent que RAG fonctionne comme ceci : indexer un document → récupérer ce même document. Mais indexer ≠ récupérer. Ce que vous indexez n'a pas à être ce que vous fournissez au LLM. Une fois que vous comprenez cela, vous pouvez construire des systèmes RAG qui fonctionnent réellement. Voici 4 stratégies d'indexation qui distinguent le bon RAG du grand RAG : 1) Indexation par morceaux ↳ C'est l'approche standard. Divisez les documents en morceaux, intégrez-les, stockez-les dans une base de données vectorielle et récupérez les correspondances les plus proches. ↳ Simple et efficace, mais de gros morceaux ou des morceaux bruyants nuiront à votre précision. 2) Indexation par sous-morceaux ↳ Divisez vos morceaux en sous-morceaux plus petits pour l'indexation, mais récupérez le morceau complet pour le contexte. ↳ C'est puissant lorsque qu'une seule section couvre plusieurs concepts. Vous obtenez un meilleur appariement de requêtes sans perdre le contexte environnant dont votre LLM a besoin. 3) Indexation par requêtes ↳ Au lieu d'indexer du texte brut, générez des questions hypothétiques auxquelles le morceau pourrait répondre. Indexez ces questions à la place. ↳ Les requêtes des utilisateurs s'alignent naturellement mieux avec les questions qu'avec le texte brut du document. Cela comble l'écart sémantique entre ce que les utilisateurs demandent et ce que vous avez stocké. ...