¡16k tokens por segundo! 🤯 ¡NUNCA he visto tantos tokens en mi vida!!! > nvidia B200 de prime > trinity mini de arcee (26b, moe) > servido por vllm (0.13) con 8 tensores en paralelo > pipeline de generación de dataset médico SYNTH > ~350 req/s > ~16k tps!!! ¡MALDITA SEA!