ما عليك سوى قراءة ورقة LeJEPA الجديدة التي كتبها Yann LeCun و Randall Balestriero. لقد كنت أشعر بالفضول لمعرفة ما كان يعمل عليه يان مؤخرا ، لا سيما بالنظر إلى جميع انتقاداته ل LLMs (والتي لا أتفق معها ، لأنني أعتقد أن LLMs ستستمر في التحسن وستأخذنا إلى ASI قريبا إلى حد ما). على أي حال ، هناك العديد من الخيوط الموجودة بالفعل على X حول الورقة وما تقدمه. النسخة المختصرة هي أنه نهج مبدئي ومبرر نظريا وشحيحا للتعلم الخاضع للإشراف الذاتي يحل محل خليط معقد من الاستدلال المخصص والمخترق لمنع انهيار الوضع ، وهو لعنة التعلم تحت الإشراف الذاتي. هذا هو المكان الذي يفسد فيه النموذج ويبدأ في تعيين جميع المدخلات إلى تضمينات متطابقة تقريبا أو إلى مساحة فرعية ضيقة من التضمينات ، مما يؤدي إلى انهيار كل ثراء المشكلة في مراسلات بسيطة وخاطئة من الناحية المرضية. الركيزة الأولى للنهج الجديد هي إثباتهم على أن التوزيعات الغاوسية المتناحية تقلل بشكل فريد من مخاطر التنبؤ النهائي في أسوأ الحالات. بمجرد أن قرأت ذلك ، فكرت على الفور في CMA-ES ، أفضل خوارزمية تحسين الصندوق الأسود المتاحة عندما لا يكون لديك وصول إلى تدرج الوظيفة التي تحاول تصغيرها ، ولكن يمكنك فقط إجراء تقييمات الوظائف (باهظة الثمن / البطيئة). يعمل نيكولاس هانسن على CMA-ES منذ أن قدمه في عام 1996. لطالما كنت مفتونا بهذا النهج واستخدمته بنجاح كبير لاستكشاف المعلمات الفائقة للشبكات العصبية العميقة بكفاءة في عام 2011 بدلا من إجراء عمليات بحث غير فعالة عن الشبكة. على أي حال ، فإن السبب الذي يجعلني أطرحها هو أن هناك علاقة موازية وعميقة مذهلة بين هذا النهج وجوهر LeJEPA. يقول CMA-ES: ابدأ ب Gaussian متناحي الخواص لأنه الحد الأقصى لتوزيع الانتروبيا (الأقل تحيزا) نظرا لقيود التباين فقط. ثم قم بتكييف التغاير لمعرفة هندسة المشكلة. يقول LeJEPA: حافظ على Gaussian متناحي الخواص لأنه الحد الأقصى لتوزيع الانتروبيا (الأقل تحيزا) للمهام المستقبلية غير المعروفة. كلاهما يدرك أن الخواص هي الأمثل في ظل عدم اليقين لثلاثة أسباب: مبدأ الانتروبيا القصوى. من بين جميع التوزيعات ذات التباين الثابت ، فإن Gaussian المتناحي لديه أقصى قدر من الانتروبيا. أي أنه يجعل أقل عدد من الافتراضات. لا يوجد تحيز اتجاهي. التباين المتساوي في جميع الاتجاهات يعني أنك لا تلتزم مسبقا بأي بنية مشكلة معينة. تحصل على أسوأ الحالات المثلى. قلل الحد الأقصى من الندم عبر جميع الأشكال الهندسية المحتملة للمشكلات. إذن ما الفرق؟ يتعلق الأمر بتوقيت التكيف. يمكن أن تتكيف CMA-ES أثناء التحسين ؛ يبدأ متناحي الخواص ولكنه يصبح متباينا الخواص لأنه يتعلم مشهد التحسين المحدد. في المقابل ، يجب أن يظل LeJEPA متناقضا لأنه يستعد لمهام المصب غير المعروفة التي لم يتم رؤيتها بعد. ...