Finalmente entendí por qué los reclasificadores son tan poderosos una vez que comprendí la diferencia clave entre los codificadores bi y cruzados. Además, encontré una manera de combinar sus poderes utilizando una arquitectura unificada. Déjame explicarte: RAG es 80% recuperación y 20% generación. Entonces, si RAG no funciona, lo más probable es que sea un problema de recuperación. Esa es exactamente la razón por la que es tan importante acertar con la arquitectura de recuperación, y comienza con la comprensión de estos dos (en realidad tres) enfoques de codificación. (consulte la imagen a continuación mientras lee) 1️⃣ Bicodificadores Los bicodificadores (la columna vertebral de la búsqueda vectorial) procesan consultas y documentos por separado. - Las incrustaciones de documentos se calculan previamente - La consulta se incrusta en el momento de la búsqueda Esto hace que los bicodificadores sean perfectos para la recuperación inicial: - extremadamente rápido - Funciona a escala - pierde información contextual importante 2️⃣ Codificadores cruzados Los codificadores cruzados adoptan un enfoque completamente diferente para la reclasificación. Procesan la consulta y cada documento como una sola unidad. - Combinar consulta con documento ([CLS] Consulta [SEP] Documento [SEP]) - Recorran el modelo juntos para una atención cruzada completa Esto hace que los codificadores cruzados sean ideales para la segunda etapa: - Captura relaciones semánticas para una mayor precisión - pero mucho más lento y con muchos recursos para grandes colecciones Ahora, ¿qué pasa si podemos combinar lo mejor de ambos mundos? 3️⃣ ColBERT ColBERT reúne el poder de los codificadores cruzados y la escalabilidad de los bicodificadores. - Codificar por separado consultas y documentos - Crear una matriz de interacción con puntuaciones de similitud entre todos los pares de tokens de consulta y documento - Obtener la puntuación máxima de cada token de consulta en los tokens de documento - Suma las puntuaciones máximas para la puntuación final _____ ¡Eso es todo! Si lo encontró perspicaz, vuelva a compartirlo con su red. Encuéntrame → @akshay_pachaar ✔️ Para obtener más información y tutoriales sobre LLM, agentes de IA y aprendizaje automático.