🚀 第0天支援:Kimi K2 Thinking 現在在 vLLM 上運行! 與 @Kimi_Moonshot 合作,我們自豪地提供對這個擁有 1T 參數、32B 活躍的最先進開放思考模型的官方支援。 在 vLLM(夜間版本)中輕鬆部署,並提供與 OpenAI 兼容的 API: 使其特別的原因: ⚡ 原生 INT4 量化 → 2 倍更快的推理 💾 一半的記憶體佔用,無準確性損失 🎯 256K 上下文,在 200-300 次工具調用中穩定 🎯 包含官方食譜和部署指南 世界級推理,現在人人可及。 📦 模型: 📚 食譜: #vLLM #KimiK2 #LLMInference