«Temelde ihtiyaç duyulan şey dikkatin kendisi değil, gizli temsiller için yeterince ifade edilebilir geometrik evrim mekanizmasıdır» Çok adil. Dikkat, şekil döndürmesinin özel bir örneğidir. Ama statik modeller için bazı kuadratik unsurların kaçınılmaz olduğunu düşünüyorum.

İnsanlar da kvadrat olurdu, eğer derin bir hafıza güncelleme hiyerarşisi olmasaydı, bu kv cache tarafından tam olarak kapanmıyor. Bu yüzden HOPE da ilginçtir