令人惊讶的是,我在我的电脑上仅使用 CPU 就能在 qwen 232b 上获得可用的速度。
@wondering_camel 基本上是 gpt4.5 的速度,哈哈
@nirw4nna @lmstudio @ggerganov 我在想nxfp4版本应该会更快吗
5.92K