我覺得人們認為他們在量化前沿模型這件事很奇怪——在我看來,幾乎可以肯定它們都已經在運行 fp4,任何低於這個的都不適合 nvidia gpu,我想 tpus 和 trainium 等等也是如此。
@mikechrzano 我被告知 b300s 是專門針對 openai 在 fp4 flops 方面的需求而設計的——假設是因為他們現在都在使用 fp4。
1K