Diffuusio-LLM:ien nopeuttaminen mukautuvan rinnakkaisdekoodauksen avulla Loistava paperi diffuusiotyylisten LLM:ien (dLLM) nopeuttamisesta 22-kertaisesti. KV-välimuistin avulla nopeutuksia voidaan nostaa edelleen 57-kertaiseksi. dLLM:t tuhlaavat usein aikaa: ne suorittavat tarpeetonta uudelleenkäsittelyä ja täytettävää dekoodausta puoliautoregressiivisen kohinan aikana. Learn2PD lisää kaksi yksinkertaista temppua jätteen vähentämiseksi. Älykkäämpi "valmis" tunnistus tokenia kohden: Pieni suodatinmalli oppii kertomaan, onko tunnus jo oikea. Kun se on merkitty "valmis", siihen ei enää koskaan kosketa. Näin vältytään jatkuvalta remasking loopilta ja nopeuttaa dekoodausta huomattavasti. Lopeta, kun vastaus päättyy: Jos End-of-Text-tunnus tulee näkyviin, dekoodaus pysähtyy välittömästi. Tämä tappaa valtavat määrät pehmusteita, erityisesti pitkillä tehoilla. Ne saavuttavat suuria nopeuden lisäyksiä lähes ilman laadun heikkenemistä. GSM8K:ssa (matemaattiset tehtävät) nopeus parani 22 × 1024 tokenilla tarkkuuden pysyessä periaatteessa ennallaan. Pidemmillä lähdöillä nopeutukset kasvavat entisestään. Toimii KV-välimuistin kanssa: Yhdistä välimuistitemppuihin ja voit nostaa nopeuden 57 ×:een, silti vankalla tarkkuudella. Kevyt ja helppo lisätä: Suodatin on vain pieni MLP, jossa on ~2K parametrit. Et kouluta perusmallia uudelleen, vaan harjoitat suodattimen jälkikäteen ja pudotat sen dekoodaussilmukkaan.