Question sincère pour tout le monde ici : Seriez-vous intéressés par une série sur l'optimisation de l'inférence LLM ? Je pense à des sujets comme : - Comment fonctionne réellement la quantification (GGUF vs AWQ vs bitsandbytes, expliqué simplement, sans fioritures) - Ollama vs vLLM pour le déploiement local et quand utiliser lequel - Décodage spéculatif : gains de vitesse de 2 à 3 fois sans perte de qualité - Cache KV et mise en cache des invites - Génération de sorties structurées - Évaluation et profilage de l'inférence LLM Si cela peut vous aider ou éveiller votre curiosité, répondez simplement en me disant votre principal intérêt, ou juste si vous êtes d'accord ou pas avec cette idée. Si suffisamment de personnes sont intéressées, je lancerai cela dans la nouvelle année.