Hier ist ein verbreitetes Missverständnis über RAG! Die meisten Menschen denken, RAG funktioniert so: ein Dokument indexieren → dasselbe Dokument abrufen. Aber Indizierung ≠ Abruf. Was Sie indizieren, muss nicht das sein, was Sie dem LLM füttern. Sobald Sie das verstehen, können Sie RAG-Systeme aufbauen, die tatsächlich funktionieren. Hier sind 4 Indizierungsstrategien, die gutes RAG von großartigem RAG unterscheiden: 1) Chunk-Indizierung ↳ Dies ist der Standardansatz. Dokumente in Chunks aufteilen, einbetten, in einer Vektordatenbank speichern und die nächsten Übereinstimmungen abrufen. ↳ Einfach und effektiv, aber große oder ungenaue Chunks können Ihre Präzision beeinträchtigen. 2) Sub-Chunk-Indizierung ↳ Teilen Sie Ihre Chunks in kleinere Sub-Chunks zur Indizierung auf, aber rufen Sie den vollständigen Chunk für den Kontext ab. ↳ Dies ist mächtig, wenn ein einzelner Abschnitt mehrere Konzepte abdeckt. Sie erhalten eine bessere Abfrageübereinstimmung, ohne den umgebenden Kontext zu verlieren, den Ihr LLM benötigt. 3) Abfrage-Indizierung ↳ Anstatt Rohtexte zu indizieren, generieren Sie hypothetische Fragen, die der Chunk beantworten könnte. Indizieren Sie stattdessen diese Fragen. ↳ Benutzerabfragen stimmen natürlicherweise besser mit Fragen als mit Rohdokumenttext überein. Dies schließt die semantische Lücke zwischen dem, was Benutzer fragen, und dem, was Sie gespeichert haben. ...