Senang untuk membagikan penelitian terbaru kami tentang AutoJudge, teknik decoding yang menggabungkan: - Percepatan inferensi melalui pelonggaran batasan pencocokan distribusi - Kemudahan penggunaan dan skalabilitas karena protokol pelatihan yang diawasi sendiri Presentasi di #NeurIPS2025 hari ini! (1/9)

Kami menemukan bahwa kami dapat menambang label untuk pengklasifikasi penerimaan secara otomatis. Secara khusus, kami mengambil himpunan data dan menjalankan pembuatan model target dan draf. Kemudian, kami memeriksa semua token yang tidak cocok antara model target dan draf. Jika menyimpan token dari model draf menghasilkan jawaban yang salah, itu ditandai sebagai penting (3/9)

Dengan menggunakan label ini, kita dapat melatih pengklasifikasi sederhana untuk menemukan token penting pada waktu inferensi. Jika decoding spekulatif asli akan menolak token, kami memberinya kesempatan kedua dengan bertanya kepada pengklasifikasi. Untuk token yang tidak penting, kami melanjutkan generasi, tetapi untuk yang lain kami memulai siklus spekulatif baru (4/9)

Evaluasi utama kami tentang AutoJudge berfokus pada tugas-tugas yang mudah untuk mengukur kebenaran jawaban — pemrograman (LiveCodeBench) dan matematika (GSM8K). Dengan pasangan model seperti 8B/70B, kita dapat mencapai hingga 40 token yang diterima per siklus dengan akurasi hit <1%! (5/9)

AutoJudge juga terintegrasi dengan mudah dengan kerangka kerja inferensi sumber terbuka seperti vLLM. Peningkatan tingkat penerimaan diterjemahkan menjadi percepatan end-to-end: jika kita menukar 2% akurasi, kita mendapatkan hampir 50% lebih banyak token per detik! (6/9)

Memeriksa anotasi untuk token penting mengungkapkan pola yang aneh: kesalahan yang jelas ditandai sebagai sampel negatif (=> perlu beregenerasi), sementara token yang setara secara semantik memungkinkan spekulasi berlanjut (7/9)

Untuk mempelajari lebih lanjut, baca: Kertas: Kode: Posting blog: Aktivasi pra-komputasi untuk GSM8K & LiveCodeBench: (8/9)

Karya ini dipimpin oleh rekan penulis saya yang luar biasa @garipovroma, @MightyNeighbour, Ivan Ermakov, Ruslan Svirschevski, dan Vage Egiazarian. Tim berada di San Diego untuk NeurIPS minggu ini — datang menyapa hari ini di sesi poster! 16:30, poster #2010 (9/9)