dpskv3.2 が @SonglinYang4 のスパース attn コミュニティと線形 attn コミュニティの両方にとってエキサイティングな理由 (注意: これは中国語です) 基本的な要約は次のとおりです。 1. 結局のところ、SWA と線形 ATTN は人気がありますが、特定のタスクで完全な ATTN レイヤーを取り除くことは依然として困難です。そのため、人々はハイブリッドを選択します(例:Qwen-Nextなど) 2. ただし、限られたフル ATTN レイヤーであっても、非常に長い CTX では依然として高価になる可能性があるため、残りのフル ATTN レイヤーのスパース ATTN を置き換えることは依然として興味深いものです。 3. 線形の目的は、SWA をほぼ効率で加熱することですが、数値は優れています 4. MoBAとDSAは、トレーニングを継続でき、完全なトレーニング段階で学んだ優れたアテン能力を保持できるため、個人的にとても気に入っています。 ここでちょっとしたプロモーション: ムーンショットの作品である MoBA (NIPs 25 で受け入れられ、シンプルで効率的なスパース アトンでもあり、継続的なトレーニングを完全にサポートし、ノンパラメトリックです