«Wat men fundamenteel nodig heeft, is niet de aandacht zelf, maar een voldoende expressief geometrisch evolutiemechanisme voor verborgen representaties» Zeer eerlijk. Aandacht is een bijzonder geval van vormrotatie. Maar ik denk dat een kwadratisch element onvermijdelijk is voor statische modellen.

Mensen zouden ook kwadratisch zijn als we geen diepe hiërarchie van geheugenupdates hadden, die niet echt wordt vastgelegd door kv-cache. Daarom is HOPE ook interessant.