Subiecte populare
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Cercetătorii MIT propun modele de limbaj recursive
Vei auzi mai multe despre asta în 2026.
De ce contează?
Ce-ar fi dacă LLM-urile ar putea procesa intrările de 100 de ori mai mult decât fereastra lor de context?
Lungimea contextului este o constrângere strictă.
Poți extinde cu modificări arhitecturale, dar există întotdeauna o limită. Majoritatea abordărilor încearcă să înghesuie mai mult în fereastră sau să comprime ce nu se potrivește.
Această nouă cercetare abordează diferit. În loc să lupți cu limita de context, ocolește programat acest lucru.
Modelele de limbaj recursive (RLM) tratează prompturile lungi ca pe un mediu extern. Modelul poate examina promptul, îl poate descompune în secțiuni și se poate numi recursiv pe fragmente. Este o scalare a timpului de inferență aplicată la lungimea contextului.
În loc să forțezi totul prin atenție într-o singură trecere, lasă modelul să împartă și să proceseze strategic informația pe mai multe apeluri recursive.
Rezultatele sunt impresionante. RLM-urile gestionează cu succes intrări de până la două ordine de mărime dincolo de ferestrele de context ale modelului. Un model cu un context 8K poate procesa eficient tokenuri de 800K.
Dar iată ce este surprinzător: chiar și pentru prompturi mai scurte care se încadrează în context, RLM-urile depășesc dramatic LLM-urile de bază și schelele comune de context lung în patru sarcini diverse.
Acest lucru sugerează ceva interesant.
Poate că atenția secvențială asupra întregului input nu este întotdeauna cea mai bună strategie, chiar și atunci când este tehnic posibil. Decompoziția programatică și procesarea recursivă pot fi fundamental mai bune pentru anumite sarcini.
Abordarea atinge un cost per interogare comparabil sau mai mic în raport cu metodele alternative de context lung.
Limitările de lungime a contextului limitează ceea ce pot face agenții. Procesarea unor baze de cod întregi, a documentelor lungi sau a istoricului extins al conversațiilor necesită soluții alternative. RLM-urile oferă o strategie generală de inferență care transformă limitele de context într-o constrângere soft, nu una dură.

Limită superioară
Clasament
Favorite
