Architektura Transformera jest zasadniczo równoległym procesorem kontekstu, ale rozumowanie jest procesem sekwencyjnym i iteracyjnym. Aby rozwiązać złożone problemy, model potrzebuje "notatnika" nie tylko w swoim wyjściowym CoT, ale także w swoim stanie wewnętrznym. Różnicowalny sposób na pętlę, rozgałęzienie i cofnięcie się, aż model znajdzie działające rozwiązanie.