Mengapa dpskv3.2 menarik untuk komunitas attn yang jarang dan linier dari @SonglinYang4 (Peringatan: ini dalam bahasa Cina) Ringkasan dasarnya adalah: 1. Lagi pula, meskipun SWA dan Linear Attn populer, masih sulit untuk menyingkirkan lapisan ATTN penuh untuk tugas-tugas tertentu. Jadi orang memilih hibrida (misalnya seperti Qwen-next) 2. Namun, bahkan lapisan penuh yang terbatas masih bisa mahal untuk CTX yang sangat panjang, sehingga jarang Attn masih menarik untuk diganti untuk lapisan penuh yang tersisa. 3. Sedangkan tujuan linier adalah untuk memanaskan SWA dengan efisiensi mendekati tetapi numerik yang lebih baik 4. Saya pribadi sangat menyukai MoBA dan DSA, karena dapat terus dilatih dan mempertahankan kemampuan hebat yang dipelajari selama tahap pelatihan penuh attn! Sedikit promo di sini: karya moonshot, MoBA (diterima di NIPs 25, ini juga merupakan perhatian jarang yang sederhana dan efisien, sepenuhnya mendukung pelatihan berkelanjutan, dan non-parametrik