Výzkumníci z MIT navrhují rekurzivní jazykové modely O tom se dozvíte více v roce 2026. Proč na tom záleží? Co kdyby LLM mohly zpracovávat vstupy 100krát déle, než je jejich kontextové okno? Délka kontextu je tvrdé omezení. Můžete ji rozšířit architektonickými změnami, ale vždy existuje nějaký limit. Většina přístupů se snaží vměstnat více do okna nebo stlačit to, co nesedí. Tento nový výzkum přistupuje k tomu jinak. Místo boje s limitem kontextu ho obejděte programovaně. Rekurzivní jazykové modely (RLM) považují dlouhé výzvy za externí prostředí. Model může prompt prozkoumat, rozložit na sekce a rekurzivně se sám volat na úryvky. Je to škálování v době inference aplikované na délku kontextu. Místo toho, aby bylo vše nucené projít pozorností najednou, nechte model strategicky rozdělit a zpracovávat informace napříč více rekurzivními voláními. Výsledky jsou působivé. RLM úspěšně zvládají vstupy až o dva řády velikosti přesahující kontextová okna modelu. Model s 8K kontextem může efektivně zpracovat 800K tokeny. Ale co je překvapivé: i u kratších promptů, které zapadají do kontextu, RLM výrazně překonávají základní LLM a běžné dlouhodobé kontextové rámce ve čtyřech různých úkolech. To naznačuje něco zajímavého. Možná není postupné soustředění na celý vstup vždy nejlepší strategie, i když je to technicky možné. Programová dekompozice a rekurzivní zpracování mohou být zásadně lepší pro určité úkoly. Tento přístup dosahuje srovnatelných nebo nižších nákladů na dotaz ve srovnání s alternativními metodami s dlouhým kontextem. Omezení délky kontextu omezují, co agenti mohou dělat. Zpracování celých kódových základů, dlouhých dokumentů nebo rozsáhlých konverzačních historií vyžaduje způsoby obcházení. RLM nabízejí obecnou inferenční strategii, která proměňuje limity kontextu v měkké omezení místo tvrdého.