Mi sembra strano che la gente pensi di quantizzare i modelli di frontiera - È quasi certo al 100% secondo me che stiano già tutti funzionando su fp4 e qualsiasi cosa inferiore non è ottimizzata per le gpu nvidia e presumo anche per tpus e trainium ecc ecc
FYI L'API del Portale Nous ha ora un limite di velocità predefinito 4 volte più grande, un grande annuncio di tutti i miglioramenti su cui abbiamo lavorato arriverà presto ^_^
