Проверьте генерацию пакетов в mlx-lm с GLM 4.7 на M3 Ultra. 6-битная модель выполняет пакет из 4 почти с удвоенной пропускной способностью (~30 ток/сек) по сравнению с одной генерацией.

Вы также можете выполнять генерацию с тензорным параллелизмом с помощью бэкенда JACCL от MLX, чтобы ускорить процесс, используя несколько машин. Вот GLM 4.7 в 6-битном формате, работающий с одним примером на четырех машинах со скоростью ~25 ток/с: