«To, co člověk zásadně potřebuje, není samotná pozornost, ale dostatečně výrazný mechanismus geometrické evoluce pro skryté reprezentace» Velmi fér. Pozornost je zvláštní případ rotace tvaru. Ale myslím, že nějaký kvadratický prvek je nevyhnutelný u statických modelů.

Lidé by byli také kvadratní, kdybychom neměli hlubokou hierarchii aktualizací pamětí, která není opravdu zachycena v kv cache. Proto je HOPE také zajímavá