Дослідники MIT пропонують моделі рекурсивної мови Ви почуєте більше про це у 2026 році. Чому це має значення? А що, якби LLM могли обробляти вхідні дані у 100 разів довше, ніж їхнє контекстне вікно? Довжина контексту — це суворе обмеження. Її можна розширити архітектурними змінами, але завжди є межа. Більшість підходів намагаються втиснути більше у вікно або стиснути те, що не підходить. Це нове дослідження має інший підхід. Замість того, щоб боротися з обмеженням контексту, обійдіть його програмно. Рекурсивні мовні моделі (RLM) розглядають довгі запити як зовнішнє середовище. Модель може досліджувати запит, розкладати його на частини та рекурсивно викликати себе на фрагментах. Це масштабування часу висновку, застосоване до довжини контексту. Замість того, щоб змушувати все проходити через увагу одним проходом, нехай модель стратегічно розділяє та обробляє інформацію через кілька рекурсивних викликів. Результати вражають. RLM успішно обробляють вхідні дані до двох порядків величини за межами контекстних вікон моделі. Модель із 8K контекстом може ефективно обробляти 800K токени. Але ось що дивує: навіть для коротших запитів, що вписуються в контекст, RLM значно перевершують базові LLM і поширені довгоконтекстні каркас у чотирьох різних завданнях. Це натякає на дещо цікаве. Можливо, послідовна увага до всього введення — не завжди найкраща стратегія, навіть якщо це технічно можливо. Програмна декомпозиція та рекурсивна обробка можуть бути фундаментально кращими для певних завдань. Підхід досягає порівнянної або дешевшої вартості за запит порівняно з альтернативними методами з довгим контекстом. Обмеження довжини контексту обмежують можливості агентів. Обробка цілих кодових баз, довгих документів або розширених історій розмов вимагає обхідних рішень. RLM пропонують загальну стратегію висновку, яка перетворює контекстні обмеження на м'яке обмеження, а не на жорстке.