MIT 研究人員提出了遞歸語言模型 你將在 2026 年聽到更多相關內容。 這有什麼重要性？ 如果 LLM 能夠處理比其上下文窗口長 100 倍的輸入會怎樣？ 上下文長度是一個硬性限制。 你可以通過架構變更來擴展它，但總是有一個限制。大多數方法試圖將更多內容擠進窗口或壓縮不適合的內容。 這項新研究採取了不同的方法。與其與上下文限制作鬥爭，不如以編程方式繞過它。 遞歸語言模型 (RLM) 將長提示視為外部環境。模型可以檢查提示，將其分解為幾個部分，並對片段進行遞歸調用。這是將推理時間擴展應用於上下文長度。 與其強迫所有內容在一次通過中通過注意力，不如讓模型在多次遞歸調用中戰略性地劃分和處理信息。 結果令人印象深刻。RLM 成功處理的輸入長度超過模型上下文窗口的兩個數量級。一個具有 8K 上下文的模型可以有效處理 800K 令牌。 但這裡有一個驚人的事實：即使對於適合上下文的較短提示，RLM 在四個不同任務中也顯著超越了基礎 LLM 和常見的長上下文支架。 這暗示了一些有趣的事情。 也許對整個輸入進行順序注意並不總是最佳策略，即使在技術上可行。編程分解和遞歸處理可能在某些任務上根本上更好。 這種方法在每次查詢的成本上達到了與替代長上下文方法相當或更便宜的效果。 上下文長度限制約束了代理可以做的事情。處理整個代碼庫、長文檔或擴展的對話歷史需要變通方法。RLM 提供了一種通用的推理策略，將上下文限制轉變為軟性約束，而不是硬性約束。