热门话题
#
Bonk 生态迷因币展现强韧势头
#
有消息称 Pump.fun 计划 40 亿估值发币，引发市场猜测
#
Solana 新代币发射平台 Boop.Fun 风头正劲
vLLM
🚀 第0天支持：Kimi K2 Thinking 现在在 vLLM 上运行！
与 @Kimi_Moonshot 合作，我们自豪地提供对最先进的开放思维模型的官方支持，该模型具有 1T 参数，32B 活跃。
在 vLLM（夜间版本）中轻松部署，支持 OpenAI 兼容 API：
它的特别之处：
⚡ 原生 INT4 量化 → 推理速度提高 2 倍
💾 内存占用减半，无准确性损失
🎯 256K 上下文，在 200-300 次工具调用中稳定
🎯 包含官方配方和部署指南
世界级推理，现在人人可及。
📦 模型：
📚 配方：
#vLLM #KimiK2 #LLMInference
11月6日 23:04
🚀 你好，Kimi K2 Thinking！
开源思维代理模型来了。
🔹 HLE 的 SOTA（44.9%）和 BrowseComp（60.2%）
🔹 在没有人工干预的情况下执行多达 200 – 300 次顺序工具调用
🔹 在推理、代理搜索和编码方面表现出色
🔹 256K 上下文窗口
作为一个思维代理，K2 Thinking 标志着我们在测试时扩展的最新努力——同时扩展思维令牌和工具调用轮次。
K2 Thinking 现在在聊天模式下上线，完整的代理模式即将推出。它也可以通过 API 访问。
🔌 API 已上线：
🔗 技术博客：
🔗 权重和代码：
30.49K
🚀 DeepSeek-OCR — 来自 @deepseek_ai 的新一代 OCR，探索 LLM 的光学上下文压缩，运行速度极快，使用 vLLM ⚡（在 A100-40G 上约 2500 tokens/s） — 由 vllm==0.8.5 提供支持，支持 day-0 模型。
🧠 在保持 97% OCR 准确率的情况下，将视觉上下文压缩高达 20×，在 <10× 的情况下。
📄 在 OmniDocBench 上使用更少的视觉 tokens 超越 GOT-OCR2.0 和 MinerU2.0。
🤝 vLLM 团队正在与 DeepSeek 合作，将官方 DeepSeek-OCR 支持引入下一个 vLLM 版本 — 使多模态推理更快、更易于扩展。
🔗
#vLLM #DeepSeek #OCR #LLM #VisionAI #DeepLearning
1.34M
热门
排行
收藏