MIT-forskere foreslår rekursive språkmodeller Du kommer til å høre mer om dette i 2026. Hvorfor spiller det noen rolle? Hva om LLM-er kunne behandle input 100 ganger lenger enn kontekstvinduet deres? Kontekstlengde er en hard begrensning. Du kan utvide det med arkitektoniske endringer, men det finnes alltid en grense. De fleste tilnærminger prøver å presse mer inn i vinduet eller komprimere det som ikke passer. Denne nye forskningen tar en annen tilnærming. I stedet for å kjempe mot kontekstbegrensningen, omgå det programmessig. Rekursive språkmodeller (RLM) behandler lange prompts som et eksternt miljø. Modellen kan undersøke prompten, dele den opp i seksjoner, og rekursivt kalle seg selv på snippets. Det er inferens-tidsskalering anvendt på kontekstlengde. I stedet for å tvinge alt gjennom oppmerksomhet i én gang, la modellen strategisk dele og behandle informasjon på tvers av flere rekursive kall. Resultatene er imponerende. RLM-er håndterer med suksess input opptil to størrelsesordener utenfor modellkontekstvinduene. En modell med en 8K-kontekst kan effektivt behandle 800K-tokens. Men her er det som overrasker: selv for kortere prompts som passer inn i konteksten, overgår RLM-er dramatisk basis-LLM-er og vanlige lang-kontekst stillaser på tvers av fire ulike oppgaver. Dette antyder noe interessant. Kanskje sekvensiell oppmerksomhet over hele inputen ikke alltid er den beste strategien, selv når det teknisk sett er mulig. Programmatisk dekomponering og rekursiv prosessering kan være fundamentalt bedre for visse oppgaver. Tilnærmingen oppnår sammenlignbar eller lavere kostnad per spørring sammenlignet med alternative langkontekstmetoder. Begrensninger i kontekstlengden begrenser hva agenter kan gjøre. Å behandle hele kodebaser, lange dokumenter eller utvidede samtalehistorikker krever omveier. RLM-er tilbyr en generell slutningsstrategi som gjør kontekstgrenser om til en myk begrensning i stedet for en hard.