Siento que es raro que la gente piense que están cuantizando modelos de frontera - En mi opinión, es casi un 100% que todos ya están funcionando en fp4 y cualquier cosa menos no está optimizada para las gpus de nvidia y asumiría que tampoco para tpus y trainium, etc, etc.
@mikechrzano Me dijeron que los b300s fueron diseñados específicamente en torno a las necesidades de openai de flops fp4, presumiblemente porque ahora hacen todo en fp4.
1,03K