O GLM-4.7 funciona bastante bem num M3 Ultra com mlx-lm, mesmo a uma precisão quase sem perdas (6 bits aqui). Gerou o melhor jogo de space invaders que já vi até agora para um modelo local (incluindo efeitos sonoros!). Gerou 6600 tokens e funcionou a 16 tok/s.
Z.ai
Z.ai23/12, 01:30
GLM-4.7 chegou! GLM-4.7 supera o GLM-4.6 com melhorias substanciais em codificação, raciocínio complexo e uso de ferramentas, estabelecendo novos padrões SOTA de código aberto. Também melhora o desempenho em chat, escrita criativa e cenários de interpretação de papéis. Modelo Padrão para o Plano de Codificação: Experimente agora: Pesos: Blog Técnico:
Aqui está uma gravação de tela do jogo e o comando usado para gerá-la: ``` mlx_lm.generate --model mlx-community/GLM-4.7-6bit --prompt "Escreva uma página HTML e JavaScript implementando space invaders" -m 8192 ```
794