بحث جديد من آبل. عندما تفكر في الأمر، فإن أنظمة RAG معطلة بشكل أساسي. يتم تحسين الاسترجاع والتوليد بشكل منفصل، حيث يختار الاسترجاع المستندات بناء على التشابه السطحي بينما تنتج المولدات إجابات دون تغذية راجعة حول المعلومات المطلوبة فعليا. هناك تفاوت معماري. يقوم المسترجعات الكثيفة بترتيب المستندات في مساحة التضمين بينما تستهلك المولدات نصا خاما. هذا يخلق مساحات تمثيل غير متسقة تمنع التحسين من طرف إلى طرف، ومعالجة نصية مكررة تسبب تجاوز السياق، وترميز مكرر لكل من الاسترجاع والتوليد. يقدم هذا البحث الجديد CLaRa، وهو إطار موحد يقوم بالاسترجاع والتوليد عبر تمثيلات مستندات مستمرة مشتركة. تقوم بترميز المستندات مرة واحدة إلى تمثيلات مدمجة لرموز الذاكرة التي تخدم كلا الغرضين. بدلا من الحفاظ على تضمين منفصل ونص خام، يتم ضغط المستندات إلى متجهات كثيفة يعمل عليها كل من المسترد والمولد مباشرة. هذا يمكن شيئا كان مستحيلا سابقا: تدرجات تتدفق من المولد عائدة إلى المرتجد عبر محدد أعلى k قابل للاشتقاق باستخدام تقدير مباشر. يتعلم المسترد أي المستندات تعزز فعلا توليد الإجابات بدلا من الاعتماد على التشابه السطحي. لجعل الضغط يعمل، قدموا SCP، وهو إطار تدريب مسبق يقوم بتركيب أزواج ضمان الجودة وإعادة صياغة لتعليم الضاغط أي المعلومات ضرورية. تجمع العين البسيطة الحقائق الذرية، وضمان الجودة المعقد يعزز التفكير العلاقي، وتحافظ الإعادة على الدلالات مع تغيير شكل السطح. النتائج: عند ضغط 16x، يتفوق CLaRa-Mistral-7B على DRO-Mistral-7B النصي على NQ (51.41 مقابل 51.01 F1) و2Wiki (47.18 مقابل 43.65 F1) مع معالجة سياق أقل بكثير. عند ضغط 4x، يتجاوز الخطوط الأساسية للنص غير المضغوط بمتوسط 2.36٪ على Mistral-7B. ومن الجدير بالذكر أن CLaRa التي تدربت بإشراف ضعيف فقط من توقع الرمز التالي تتفوق على المسترجعات التي تشرف عليها بالكامل مع تسميات الصلة بالحقيقة الأرضية. على HotpotQA، حقق 96.21٪ Recall@5، متجاوزا BGE-Reranker (85.93٪) بأكثر من 10 نقاط رغم عدم استخدام بيانات ذات صلة مشروحة. يمكن للضغط الناعم المدرب جيدا الاحتفاظ بمعلومات الاستدلال الأساسية مع تقليل طول الإدخال بشكل كبير. تقوم التمثيلات المضغوطة بتصفية المحتوى غير ذي الصلة وتركيز المولد على السياق المرتبط بالتفكير، مما يؤدي إلى تعميم أفضل من المدخلات النصية الخام. قراءة رائعة لمطوري الذكاء الاصطناعي. (ضع علامة مرجعية) الورقة: تعلم البناء باستخدام وكلاء RAG الذكاء الاصطناعي في أكاديميتي: