Populære emner
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Awni Hannun
AI @apple
For enda høyere gjennomstrømning og lavere latens: batchgenerering + tensor parallelt med mlx-lm + og mlx.distributed.
Her genererer den med 63 tok/s (gjennomstrømning) med GLM 4,7 i 6-bit og batchstørrelse 4 på 4 M3 Ultras:
23. des., 23:32
Sjekk batchgenerering i mlx-lm med GLM 4.7 på en M3 Ultra.
6-bits modellen kjører en batch på 4 med nesten dobbelt så høy gjennomstrømning (~30 tok/sek) som en enkelt generasjon.
208
Topp
Rangering
Favoritter