GLM-4.7 fonctionne plutôt bien sur un M3 Ultra avec mlx-lm, même à une précision presque sans perte (6 bits ici). Il a généré le meilleur jeu d'envahisseurs de l'espace que j'ai vu jusqu'à présent pour un modèle local (incluant même des effets sonores !). Généré 6600 tokens et a fonctionné à 16 tok/s.
Z.ai
Z.ai23 déc., 01:30
GLM-4.7 est là ! GLM-4.7 surpasse GLM-4.6 avec des améliorations substantielles en codage, raisonnement complexe et utilisation d'outils, établissant de nouvelles normes SOTA open-source. Il améliore également les performances dans les scénarios de chat, d'écriture créative et de jeu de rôle. Modèle par défaut pour le plan de codage : Essayez-le maintenant : Poids : Blog technique :
Voici un enregistrement d'écran du jeu et la commande utilisée pour le générer : ``` mlx_lm.generate --model mlx-community/GLM-4.7-6bit --prompt "Écrire une page HTML et JavaScript implémentant des envahisseurs de l'espace" -m 8192 ```
797