Populære emner
#
Bonk Eco continues to show strength amid $USELESS rally
Hosico
Hosico−0,55 %
USELESS
USELESS+12,86 %
IKUN
IKUN−0,26 %
gib
gib−3,66 %
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
Bonk
Bonk−1,15 %
ALON
ALON+5,83 %
LAUNCHCOIN
LAUNCHCOIN−3,47 %
GOONC
GOONC−1,35 %
KLED
KLED+3,73 %
#
Boop.Fun leading the way with a new launchpad on Solana.
BOOP
BOOP+0,5 %
Boopa
Boopa+1,95 %
PORK
PORK−4,86 %
Awni Hannun
Awni Hannun
23. des., 23:32·
Sjekk batchgenerering i mlx-lm med GLM 4.7 på en M3 Ultra. 6-bits modellen kjører en batch på 4 med nesten dobbelt så høy gjennomstrømning (~30 tok/sek) som en enkelt generasjon.
Du kan også gjøre tensor-parallell generering med MLXs JACCL-backend for å få en hastighetsøkning ved bruk av flere maskiner. Her er GLM 4.7 i 6-bit som kjører et enkelt eksemplar på fire maskiner med ~25 tok/s:
404