MIT-forskare föreslår rekursiva språkmodeller Du kommer att höra mer om detta under 2026. Varför spelar det någon roll? Tänk om LLM:er kunde bearbeta indata 100 gånger längre än deras kontextfönster? Kontextlängd är en hård begränsning. Du kan utöka det med arkitektoniska förändringar, men det finns alltid en gräns. De flesta metoder försöker klämma in mer i fönstret eller komprimera det som inte får plats. Denna nya forskning tar ett annat grepp. Istället för att kämpa mot kontextgränsen, arbeta runt det programmatiskt. Rekursiva språkmodeller (RLM) behandlar långa prompts som en extern miljö. Modellen kan undersöka prompten, dela upp den i sektioner och rekursivt kalla på sig själv på snippets. Det är en skalning av inferenstid applicerad på kontextlängd. Istället för att tvinga allt genom uppmärksamhet i ett enda pass, låt modellen strategiskt dela upp och bearbeta information över flera rekursiva anrop. Resultaten är imponerande. RLM:er hanterar framgångsrikt indata upp till två storleksordningar utanför modellkontextfönster. En modell med en 8K-kontext kan effektivt bearbeta 800K-tokens. Men här är det som är förvånande: även för kortare prompts som passar in i kontext, överträffar RLM dramatiskt bas-LLM:er och vanliga långkontext-stommar över fyra olika uppgifter. Detta antyder något intressant. Kanske är sekventiell uppmärksamhet över hela inmatningen inte alltid den bästa strategin, även när det tekniskt sett är möjligt. Programmatisk dekomposition och rekursiv bearbetning kan vara fundamentalt bättre för vissa uppgifter. Metoden uppnår jämförbar eller lägre kostnad per fråga jämfört med alternativa långkontextmetoder. Begränsningar av kontextlängd begränsar vad agenter kan göra. Att bearbeta hela kodbaser, långa dokument eller utökade konversationshistoriker kräver lösningar. RLM:er erbjuder en allmän inferensstrategi som omvandlar kontextgränser till en mjuk begränsning snarare än en hård.