«Lo que fundamentalmente se necesita no es la atención en sí, sino un mecanismo geométrico de evolución suficientemente expresivo para representaciones ocultas» Muy justo. La atención es un caso particular de rotación de forma. Pero creo que algún elemento cuadrático es inevitable para los modelos estáticos.

Los humanos también seríamos cuadráticos si no tuviéramos una jerarquía profunda de actualizaciones de memoria, que realmente no se captura con la caché kv. Por eso HOPE también es interesante