Confira a geração de lotes no mlx-lm com GLM 4.7 em um M3 Ultra. O modelo de 6 bits roda um lote de 4 a quase o dobro da taxa de transferência (~30 tok/seg) de uma única geração.

Você também pode fazer geração tensor-paralelo com o back-end JACCL do MLX para acelerar usando várias máquinas. Aqui está o GLM 4.7 em 6 bits rodando um único exemplar em quatro máquinas a ~25 tok/s: