令人驚訝的是,我在我的電腦上僅使用 CPU 就能在 qwen 232b 上獲得可用的速度。
@wondering_camel 基本上是 gpt4.5 的速度,哈哈
@nirw4nna @lmstudio @ggerganov 我在想nxfp4版本應該會更快吧
5.92K