Transformer-arkitekturen er i bunn og grunn en parallell prosessor av kontekst, men resonnement er en sekvensiell, iterativ prosess. For å løse komplekse problemer trenger en modell en "scratchpad" ikke bare i sin utdata CoT, men også i sin interne tilstand. En differensierbar måte å loope, forgrene og backtracke til modellen finner en løsning som fungerer.