Arsitektur Transformer pada dasarnya adalah prosesor konteks paralel, tetapi penalaran adalah proses berurutan dan berulang. Untuk memecahkan masalah yang kompleks, model membutuhkan "scratchpad" tidak hanya dalam output CoT, tetapi dalam keadaan internalnya. Cara yang dapat dibedakan untuk mengulang, bercabang, dan mundur hingga model menemukan solusi yang berhasil.