لماذا dpskv3.2 مثير لكل من مجتمعات attn المتناثرة والخطية من @SonglinYang4 (تنبيه: هذا باللغة الصينية) الملخص الأساسي هو: 1. بعد كل شيء ، على الرغم من أن SWA و Linear Attn شائعان ، إلا أنه لا يزال من الصعب التخلص من طبقة ATTN الكاملة لمهام معينة. لذلك يختار الناس الهجين (على سبيل المثال ، مثل Qwen-Next) 2. ومع ذلك ، حتى طبقات Attn الكاملة المحدودة يمكن أن تظل باهظة الثمن بالنسبة ل CTX طويلة جدا ، لذلك لا يزال من المثير للاهتمام استبدال طبقات attn الكاملة المتبقية. 3. في حين أن الغرض من الخطي هو تسخين SWA بكفاءة قريبة ولكن أرقام أفضل 4. أنا شخصيا أحب MoBA و DSA كثيرا ، حيث يمكن مواصلة التدريب ويحافظ على قدرات التوجه العظيمة التي تم تعلمها خلال مراحل التدريب الكاملة! عرض ترويجي قليلا هنا: عمل moonshot ، MoBA (مقبول في NIPs 25 ، وهو أيضا علاج متناثر بسيط وفعال ، ويدعم التدريب المستمر بشكل كامل ، وغير بارامتري