Ich finde es seltsam, dass die Leute denken, sie quantisieren Grenzmodelle - Meiner Meinung nach ist es fast 100 %, dass sie alle bereits auf fp4 laufen und alles, was weniger ist, nicht für NVIDIA-GPUs optimiert ist und ich würde annehmen, dass es auch für TPUs und Trainium usw. gilt.

@mikechrzano Mir wurde gesagt, dass die b300s speziell auf die Bedürfnisse von OpenAI in Bezug auf fp4 Flops ausgelegt sind - vermutlich, weil sie jetzt alles in fp4 machen.