„To, czego fundamentalnie potrzebujemy, to nie sama uwaga, ale wystarczająco ekspresywny mechanizm ewolucji geometrycznej dla ukrytych reprezentacji.” Bardzo słuszne. Uwaga jest szczególnym przypadkiem rotacji kształtu. Ale myślę, że pewien element kwadratowy jest nieunikniony dla statycznych modeli.

Ludzie byliby kwadratowi, gdybyśmy nie mieli głębokiej hierarchii aktualizacji pamięci, co nie jest naprawdę uchwycone przez pamięć podręczną kv. Dlatego HOPE jest również interesujące.