vLLM забезпечує ще більшу продуктивність інференції на тій самій GPU-платформі. Всього за місяць ми працювали з NVIDIA, щоб збільшити максимальну пропускну здатність Blackwell @nvidia GPU до 33% — суттєво знизивши вартість токена — а також забезпечивши ще вищу пікову швидкість для найбільш затримкових випадків використання завдяки глибокій інтеграції та співпраці з PyTorch.

🎉Вітаємо команду @Zai_org з запуском GLM-4.6V та GLM-4.6V-Flash — з підтримкою дня 0 у vLLM Recipes для команд, які хочуть запускати їх на власних GPU. GLM-4.6V зосереджений на високоякісному мультимодальному мисленні з довгим контекстом і нативним викликом інструментів/функцій, тоді як GLM-4.6V-Flash — це варіант 9B, налаштований на нижчу затримку та менший слід розгортань; наш новий vLLM Recipe пропонує готові до запуску конфігурації, керівництво мульти-GPU та стандартні налаштування, орієнтовані на виробництво. Якщо ви створюєте сервіси інференції і хочете GLM-4.6V у своєму стеку, почніть тут:

🎉 Вітаємо команду Mistral із запуском сімейства Mistral 3! Ми пишаємося тим, що @MistralAI, @NVIDIAAIDev, @RedHat_AI та vLLM тісно співпрацювали, щоб забезпечити повну підтримку Day-0 для всієї лінійки Mistral 3. Ця співпраця дозволила: • оптимізовані контрольні точки NVFP4 (llm-компресор) • Розріджені ядра MoE для Mistral Large 3 • Попереднє заповнення/декодування розподіленої порції • Мультимодальне + висновки з довгим контекстом • Ефективне виведення на A100 / H100 / Blackwell 🙏 Велика подяка @MistralAI, @NVIDIAAIDev та @RedHat_AI за міцне партнерство та інженерну роботу, яка зробила можливою оптимізацію Day-0. Якщо ви хочете найшвидший і найефективніший відкритий шлях розгортання для всієї лінійки Mistral 3 — vLLM готовий вже сьогодні.