vLLM offre prestazioni di inferenza ancora migliori con la stessa piattaforma GPU. In solo 1 mese, abbiamo collaborato con NVIDIA per aumentare il throughput massimo di @nvidia Blackwell per GPU fino al 33% -- riducendo significativamente il costo per token -- mentre abilitiamo anche velocità di picco ancora più elevate per i casi d'uso più sensibili alla latenza, grazie all'integrazione profonda di PyTorch e alla collaborazione.

🎉Congratulazioni al team di @Zai_org per il lancio di GLM-4.6V e GLM-4.6V-Flash — con supporto per il day-0 in vLLM Recipes per i team che vogliono eseguirli sui propri GPU. GLM-4.6V si concentra su ragionamenti multimodali di alta qualità con contesto lungo e chiamate a strumenti/funzioni native, mentre GLM-4.6V-Flash è una variante da 9B ottimizzata per una latenza inferiore e distribuzioni a minore impronta; la nostra nuova vLLM Recipe include configurazioni pronte all'uso, guida multi-GPU e impostazioni orientate alla produzione. Se stai costruendo servizi di inferenza e vuoi GLM-4.6V nel tuo stack, inizia qui:

🎉 Congratulazioni al team di Mistral per il lancio della famiglia Mistral 3! Siamo orgogliosi di condividere che @MistralAI, @NVIDIAAIDev, @RedHat_AI e vLLM hanno lavorato a stretto contatto per fornire supporto completo Day-0 per l'intera gamma Mistral 3. Questa collaborazione ha reso possibile: • Checkpoint ottimizzati NVFP4 (llm-compressor) • Kernel Sparse MoE per Mistral Large 3 • Servizio disaggregato prefill/decode • Inferenza multimodale + contesto lungo • Inferenza efficiente su A100 / H100 / Blackwell 🙏 Un enorme grazie a @MistralAI, @NVIDIAAIDev e @RedHat_AI per la forte partnership e l'impegno ingegneristico che ha reso possibile l'ottimizzazione Day-0. Se desideri il percorso di distribuzione open-source più veloce ed efficiente per l'intera gamma Mistral 3—vLLM è pronto oggi.