Mactop är ett fantastiskt verktyg.
- Superenkelt att installera: brew install mactop
- Lätt att köra: mactop (behöver inte längre sudo)
- Superexakta mätvärden
Tack @carsenklock
Mactop v2.0.1 ⚡
- Lägger till flera nya färger/teman
- Några buggfixar och små uppdateringar
- Thunderbolt- och RDMA-stöd
- Pretty print-alternativ för headless-läge
- Ny layout (11 totalt nu)
- Sparar ditt val av processlistsortering
⭐
Brew Upgrade Mactop
Kolla batchgenerering i mlx-lm med GLM 4.7 på en M3 Ultra.
6-bitarsmodellen kör en batch om 4 med nästan dubbelt så hög genomströmning (~30 tok/s) som en enda generation.
GLM-4.7 fungerar ganska bra på en M3 Ultra med mlx-lm, även med nästan förlustfri precision (6-bit här).
Det genererade det bästa Space Invaders-spelet jag sett hittills för en lokal modell (inkluderade till och med ljudeffekter!).
Genererade 6600 tokens och körde på 16 tok/s.