MIT-Forscher schlagen rekursive Sprachmodelle vor Sie werden 2026 mehr darüber hören. Warum ist das wichtig? Was wäre, wenn LLMs Eingaben verarbeiten könnten, die 100x länger sind als ihr Kontextfenster? Die Kontextlänge ist eine harte Einschränkung. Sie können sie mit architektonischen Änderungen erweitern, aber es gibt immer ein Limit. Die meisten Ansätze versuchen, mehr in das Fenster zu quetschen oder das, was nicht passt, zu komprimieren. Diese neue Forschung verfolgt einen anderen Ansatz. Anstatt gegen die Kontextgrenze zu kämpfen, umschiffen Sie sie programmatisch. Rekursive Sprachmodelle (RLMs) behandeln lange Eingabeaufforderungen als externe Umgebung. Das Modell kann die Eingabeaufforderung untersuchen, sie in Abschnitte zerlegen und sich rekursiv auf Schnipsel aufrufen. Es ist eine Skalierung zur Inferenzzeit, die auf die Kontextlänge angewendet wird. Anstatt alles in einem Durchgang durch die Aufmerksamkeit zu zwingen, lassen Sie das Modell strategisch Informationen über mehrere rekursive Aufrufe partitionieren und verarbeiten. Die Ergebnisse sind beeindruckend. RLMs können Eingaben bis zu zwei Größenordnungen über den Kontextfenstern des Modells erfolgreich verarbeiten. Ein Modell mit einem 8K-Kontext kann effektiv 800K Tokens verarbeiten. Aber hier ist das Überraschende: Selbst für kürzere Eingabeaufforderungen, die in den Kontext passen, übertreffen RLMs die Basis-LLMs und gängigen Langkontext-Gerüste dramatisch in vier verschiedenen Aufgaben. Das deutet auf etwas Interessantes hin. Vielleicht ist sequenzielle Aufmerksamkeit über die gesamte Eingabe nicht immer die beste Strategie, selbst wenn es technisch möglich ist. Programmatische Zerlegung und rekursive Verarbeitung könnten für bestimmte Aufgaben grundsätzlich besser sein. Der Ansatz erreicht vergleichbare oder günstigere Kosten pro Anfrage im Vergleich zu alternativen Langkontextmethoden. Einschränkungen der Kontextlänge schränken ein, was Agenten tun können. Die Verarbeitung ganzer Codebasen, langer Dokumente oder erweiterter Gesprächshistorien erfordert Umgehungen. RLMs bieten eine allgemeine Inferenzstrategie, die Kontextgrenzen in eine weiche Einschränkung anstatt in eine harte verwandelt.