Topik trending
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
vLLM
🚀 Dukungan Hari 0: Kimi K2 Thinking sekarang berjalan di vLLM!
Dalam kemitraan dengan @Kimi_Moonshot, kami bangga memberikan dukungan resmi untuk model pemikiran terbuka yang canggih dengan parameter 1T, 32B aktif.
Mudah diterapkan dalam vLLM (versi malam) dengan API yang kompatibel dengan OpenAI:
Apa yang membuatnya istimewa:
⚡ Kuantisasi INT4 asli → inferensi 2× lebih cepat
💾 Setengah jejak memori, tidak ada kehilangan akurasi
🎯 Konteks 256K, stabil di 200-300 panggilan alat
🎯 Resep resmi & panduan penyebaran disertakan
Penalaran kelas dunia, sekarang dapat diakses oleh semua orang.
📦 Pola:
📚 Resep:
#vLLM #KimiK2 #LLMInference
6 Nov, 23.04
🚀 Halo, Kimi K2 Berpikir!
Model Agen Pemikiran Sumber Terbuka ada di sini.
🔹 SOTA di HLE (44,9%) dan BrowseComp (60,2%)
🔹 Menjalankan hingga 200 – 300 panggilan alat berurutan tanpa campur tangan manusia
🔹 Unggul dalam penalaran, pencarian agen, dan pengkodean
🔹 Jendela konteks 256K
Dibangun sebagai agen pemikiran, K2 Thinking menandai upaya terbaru kami dalam penskalaan waktu pengujian — menskalakan token pemikiran dan giliran pemanggilan alat.
K2 Thinking sekarang aktif dalam mode obrolan, dengan mode agen penuh segera hadir. Ini juga dapat diakses melalui API.
🔌 API aktif:
🔗 Blog teknologi:
🔗 Bobot & kode:
30,44K
🚀 DeepSeek-OCR — perbatasan baru OCR dari @deepseek_ai, mengeksplorasi kompresi konteks optik untuk LLM, berjalan sangat cepat pada vLLM ⚡ (~2500 token/dtk pada A100-40G) — didukung oleh vllm==0.8.5 untuk dukungan model hari-0.
🧠 Mengompresi konteks visual hingga 20× sambil mempertahankan akurasi OCR 97% pada <10×.
📄 Mengungguli GOT-OCR2.0 & MinerU2.0 di OmniDocBench menggunakan lebih sedikit token penglihatan.
🤝 Tim vLLM bekerja sama dengan DeepSeek untuk menghadirkan dukungan DeepSeek-OCR resmi ke rilis vLLM berikutnya — membuat inferensi multimodal lebih cepat dan lebih mudah untuk diskalakan.
🔗
#vLLM #DeepSeek #OCR #LLM #VisionAI #DeepLearning
1,34M
Teratas
Peringkat
Favorit