Czuję, że to dziwne, że ludzie myślą, że kwantyzują modele na granicy - Moim zdaniem prawie na 100%, że wszystkie działają już na fp4, a wszystko poniżej nie jest zoptymalizowane pod kątem gpu nvidii, a zakładam, że także tpus i trainium itd.

@mikechrzano Powiedziano mi, że b300s zostały specjalnie zaprojektowane z myślą o potrzebach openai dotyczących fp4 flops - przypuszczalnie dlatego, że teraz wszystko robią w fp4.