MiniMax、Qwen、Kimi、NVIDIAによる最近のハイブリッドAttentionリリースを受けて、本論文ではそれらを超える可能性のあるエラーフリーリニアアテンションを紹介します この新しい手法は、安定した線形時間の注意を持ち、どの線形注意バリエーションよりも優れています。また、DeltaNetも同様です!