Ecco un comune malinteso su RAG! La maggior parte delle persone pensa che RAG funzioni in questo modo: indicizza un documento → recupera lo stesso documento. Ma indicizzazione ≠ recupero. Ciò che indicizzi non deve essere ciò che fornisci al LLM. Una volta che comprendi questo, puoi costruire sistemi RAG che funzionano davvero. Ecco 4 strategie di indicizzazione che separano un buon RAG da un grande RAG: 1) Indicizzazione a chunk ↳ Questo è l'approccio standard. Dividi i documenti in chunk, incorporali, memorizzali in un database vettoriale e recupera le corrispondenze più vicine. ↳ Semplice ed efficace, ma chunk grandi o rumorosi danneggeranno la tua precisione. 2) Indicizzazione a sub-chunk ↳ Suddividi i tuoi chunk in sub-chunk più piccoli per l'indicizzazione, ma recupera il chunk completo per il contesto. ↳ Questo è potente quando una singola sezione copre più concetti. Ottieni un miglior abbinamento delle query senza perdere il contesto circostante di cui il tuo LLM ha bisogno. 3) Indicizzazione delle query ↳ Invece di indicizzare il testo grezzo, genera domande ipotetiche a cui il chunk potrebbe rispondere. Indicizza quelle domande invece. ↳ Le query degli utenti si allineano naturalmente meglio con le domande piuttosto che con il testo del documento grezzo. Questo chiude il divario semantico tra ciò che gli utenti chiedono e ciò che hai memorizzato. ...