Jag förstod äntligen varför re-rankers är så kraftfulla när jag förstod den viktigaste skillnaden mellan bi- och cross-encoders. Jag hittade dessutom ett sätt att kombinera deras krafter med hjälp av en enhetlig arkitektur. Låt mig förklara: RAG står för 80 % hämtning och 20 % generering. Så om RAG inte fungerar är det troligen ett hämtningsproblem. Det är just därför det är så viktigt att få din hämtningsarkitektur rätt - och det börjar med att förstå dessa två (faktiskt tre) kodningsmetoder. (Se det visuella objektet nedan när du läser) 1️⃣ Bi-kodare Bikodare (ryggraden i vektorsökning) bearbetar frågor och dokument separat. - Inbäddningar av dokument är förberäknade - Frågan bäddas in vid sökningen Detta gör bikodare perfekta för initial hämtning: - Extremt snabb - Fungerar i stor skala - Missar viktig kontextuell information 2️⃣ Korskodare Korskodare använder ett helt annat tillvägagångssätt för att rangordna om. De bearbetar frågan och varje dokument som en enda enhet....