«To, co člověk zásadně potřebuje, není samotná pozornost, ale dostatečně výrazný mechanismus geometrické evoluce pro skryté reprezentace» Velmi fér. Pozornost je zvláštní případ rotace tvaru. Ale myslím, že nějaký kvadratický prvek je nevyhnutelný u statických modelů.
himanshu
himanshuPřed 15 h
Letos končíme ve velkém stylu, že?
Lidé by byli také kvadratní, kdybychom neměli hlubokou hierarchii aktualizací pamětí, která není opravdu zachycena v kv cache. Proto je HOPE také zajímavá
66