Jeg synes det er rart at folk tror de kvantiserer frontier-modeller – det er nesten 100 % etter min mening at de alle allerede kjører på FP4, og alt mindre er ikke optimalisert for Nvidia-GPU-er, og jeg antar TPUS og Trainium osv osv
@mikechrzano fikk jeg høre at B300 var spesifikt designet rundt Openais behov for FP4-flopper – antakelig fordi de gjør alt i FP4 nå
1,01K