В нашем новом исследовании мы представляем AutoJudge — метод ускорения вывода, который учится определять, какие токены важны для ответа. Результат? Ускорение в 1.5-2 раза по сравнению со спекулятивным декодированием и стабильные приросты при сочетании с передовыми техниками. 🚀
Также прочитайте ветку с деталями от авторов статьи:
Max Ryabinin
Max Ryabinin5 дек., 02:02
Рады поделиться нашим недавним исследованием о AutoJudge, технике декодирования, которая сочетает в себе: - Ускорение вывода за счет ослабления ограничения соответствия распределения - Простота использования и масштабируемость благодаря протоколу самообучения Презентация на #NeurIPS2025 сегодня! (1/9)
Авторы представят AutoJudge на #NeurIPS2025 в Сан-Диего. Познакомьтесь с командой и узнайте больше о подходе! 🕑4 декабря, 16:30 по тихоокеанскому времени 🗺️Выставочный зал C,D,E #2010
2,29K