Verifique a geração de lotes no mlx-lm com GLM 4.7 em um M3 Ultra. O modelo de 6 bits executa um lote de 4 a quase o dobro da taxa de transferência (~30 tok/seg) de uma única geração.

Você também pode fazer geração em paralelo de tensores com o back-end JACCL da MLX para obter um aumento de velocidade usando várias máquinas. Aqui está o GLM 4.7 em 6 bits executando um único exemplo em quatro máquinas a ~25 tok/s: