您可以在不進行任何額外訓練的情況下，使 AI 推理速度提高 3 倍。 來自 SJTU 和華為的研究人員為此提出了 LoPA！ 他們的新方法「前瞻性並行解碼」是一個即插即用的技巧。它智能地預測生成多個標記的最佳順序，而不是一個一個地生成，從而解鎖大規模的並行計算。 它使 D2F-Dream 模型的輸出每步超過 10 個標記，達到每秒超過 1070 個標記的速度——在編碼 (MBPP) 和數學 (GSM8K) 基準測試中顯著超越其他頂級推理系統。 LoPA：通過前瞻性並行解碼擴展 dLLM 推理 論文： 代碼： 博客： 我們的報告： 📬 #PapersAccepted 由 Jiqizhixin 提交