هذه الورقة الجديدة مذهلة! يقترح أن العوامل القائمة على النماذج الكبيرة تعمل وفقا لقوانين فيزيائية ماكروسكوبية، مشابهة لكيفية تصرف الجسيمات في الأنظمة الديناميكية الحرارية. ويبدو أنه اكتشاف ينطبق على جميع النماذج. وكلاء النماذج الكبيرة تعمل بشكل جيد جدا في مجالات مختلفة، لكن ليس لدينا نظرية حول السبب. غالبا ما ينظر إلى سلوك هذه الأنظمة على أنه نتاج مباشر للهندسة الداخلية المعقدة: قوالب التوجيه، وحدات الذاكرة، واستدعاء الأدوات المتطور. الديناميكيات تبقى كصندوق أسود. تشير هذه الأبحاث الجديدة إلى أن العوامل المدفوعة بالنماذج الكبيرة الكبيرة تظهر توازنا مفصلا، وهو خاصية أساسية لأنظمة التوازن في الفيزياء. ماذا يعني هذا؟ يشير إلى أن نماذج اللغة الكبيرة لا تتعلم فقط مجموعات القواعد والاستراتيجيات؛ قد يتعلمون ضمنيا دالة محتملة أساسية تقيم الحالات عالميا، تلتقط شيئا مثل "مدى بعد النموذج الكبير للحالة عن الهدف." هذا يتيح التقارب الموجه دون الوقوع في دورات متكررة. قام الباحثون بدمج نماذج اللغة الكبيرة ضمن أطر الوكلاء وقياس احتمالات الانتقال بين الحالات. باستخدام مبدأ أقل فعل من الفيزياء، قدروا دالة الجهد التي تحكم هذه الانتقالات. النتائج عبر انتقالات الحالة في GPT-5 Nano، Claude-4، وGemini-2.5-flash: تلبي إلى حد كبير شرط التوازن التفصيلي. وهذا يشير إلى أن ديناميكياتها التوليدية تظهر خصائص مشابهة لأنظمة التوازن. في مهمة ملاءمة رمزية مع 50,228 انتقالا للحالات عبر 7,484 حالة مختلفة، تحركت 69.56٪ من الانتقالات ذات الاحتمالية العالية نحو جهد أقل. كانت الدالة المحتملة تلتقط ميزات على مستوى التعبير مثل التعقيد والصلاحية النحوية دون الحاجة إلى معلومات على مستوى النص. أظهرت نماذج مختلفة سلوكيات مختلفة على طيف الاستكشاف والاستغلال. تقارب كلود-4 وجيميني-2.5-فلاش بسرعة إلى عدة حالات. استكشف GPT-5 Nano على نطاق واسع، حيث أنتج 645 مخرجا صالحا مختلفا على مدار 20,000 جيل. قد يكون هذا أول اكتشاف لقانون فيزيائي ماكروسكوب في ديناميكيات التوليد في نماذج اللغة الكبيرة لا يعتمد على تفاصيل النموذج المحددة. يقترح أنه يمكننا دراسة وكلاء الذكاء الاصطناعي كأنظمة فيزيائية ذات خصائص قابلة للقياس والتنبؤ بدلا من مجرد قطع هندسية. الورقة: تعلم كيفية بناء وكلاء الذكاء الاصطناعي الفعالين في أكاديميتنا:

هذا يحدث بسرعة جنونية! بدأت أدرك هذا عندما نقلت جميع سير العمل إلى مهارات البرمجة كلود. مؤلمة في البداية، ثم فجأة بدأت تتحرك بسرعات لا يمكن تصورها. أسمع أن المزيد من الشركات تتبنى المهارات، مما يسرع الأمور أكثر. قراءة رائعة!

بحث جديد من آبل. عندما تفكر في الأمر، فإن أنظمة RAG معطلة بشكل أساسي. يتم تحسين الاسترجاع والتوليد بشكل منفصل، حيث يختار الاسترجاع المستندات بناء على التشابه السطحي بينما تنتج المولدات إجابات دون تغذية راجعة حول المعلومات المطلوبة فعليا. هناك تفاوت معماري. يقوم المسترجعات الكثيفة بترتيب المستندات في مساحة التضمين بينما تستهلك المولدات نصا خاما. هذا يخلق مساحات تمثيل غير متسقة تمنع التحسين من طرف إلى طرف، ومعالجة نصية مكررة تسبب تجاوز السياق، وترميز مكرر لكل من الاسترجاع والتوليد. يقدم هذا البحث الجديد CLaRa، وهو إطار موحد يقوم بالاسترجاع والتوليد عبر تمثيلات مستندات مستمرة مشتركة. تقوم بترميز المستندات مرة واحدة إلى تمثيلات مدمجة لرموز الذاكرة التي تخدم كلا الغرضين. بدلا من الحفاظ على تضمين منفصل ونص خام، يتم ضغط المستندات إلى متجهات كثيفة يعمل عليها كل من المسترد والمولد مباشرة. هذا يمكن شيئا كان مستحيلا سابقا: تدرجات تتدفق من المولد عائدة إلى المرتجد عبر محدد أعلى k قابل للاشتقاق باستخدام تقدير مباشر. يتعلم المسترد أي المستندات تعزز فعلا توليد الإجابات بدلا من الاعتماد على التشابه السطحي. لجعل الضغط يعمل، قدموا SCP، وهو إطار تدريب مسبق يقوم بتركيب أزواج ضمان الجودة وإعادة صياغة لتعليم الضاغط أي المعلومات ضرورية. تجمع العين البسيطة الحقائق الذرية، وضمان الجودة المعقد يعزز التفكير العلاقي، وتحافظ الإعادة على الدلالات مع تغيير شكل السطح. النتائج: عند ضغط 16x، يتفوق CLaRa-Mistral-7B على DRO-Mistral-7B النصي على NQ (51.41 مقابل 51.01 F1) و2Wiki (47.18 مقابل 43.65 F1) مع معالجة سياق أقل بكثير. عند ضغط 4x، يتجاوز الخطوط الأساسية للنص غير المضغوط بمتوسط 2.36٪ على Mistral-7B. ومن الجدير بالذكر أن CLaRa التي تدربت بإشراف ضعيف فقط من توقع الرمز التالي تتفوق على المسترجعات التي تشرف عليها بالكامل مع تسميات الصلة بالحقيقة الأرضية. على HotpotQA، حقق 96.21٪ Recall@5، متجاوزا BGE-Reranker (85.93٪) بأكثر من 10 نقاط رغم عدم استخدام بيانات ذات صلة مشروحة. يمكن للضغط الناعم المدرب جيدا الاحتفاظ بمعلومات الاستدلال الأساسية مع تقليل طول الإدخال بشكل كبير. تقوم التمثيلات المضغوطة بتصفية المحتوى غير ذي الصلة وتركيز المولد على السياق المرتبط بالتفكير، مما يؤدي إلى تعميم أفضل من المدخلات النصية الخام. قراءة رائعة لمطوري الذكاء الاصطناعي. (ضع علامة مرجعية) الورقة: تعلم البناء باستخدام وكلاء RAG الذكاء الاصطناعي في أكاديميتي: