Přijde mi divné, že si lidé myslí, že kvantizují Frontier modely – je téměř stoprocentně jisté, že už běží na FP4 a cokoli menšího není optimalizováno pro nvidia GPU, a předpokládám TPU, Trainium atd atd
@mikechrzano mi bylo řečeno, že b300 byly speciálně navrženy pro potřeby openAI na FP4 flopy – pravděpodobně proto, že teď dělají všechno ve fp4
1,01K