mlx-lm 正在成為一個相當強大的小型推理框架! 最新版本增加了張量並行 LLM 推理,以便與 MLX 中新的低延遲 JACCL 後端一起使用(感謝 @angeloskath)。 還更新以支持 Transformers V5!