每秒 16k 個標記！🤯 我一輩子從未見過這麼多標記！！！ > 來自 Prime 的 NVIDIA B200 > 來自 Arcee 的 Trinity Mini (26b, moe) > 由 VLLM (0.13) 提供服務，具有 8 個張量並行處理 > 醫療 SYNTH 數據集生成管道 > ~350 請求/秒 > ~16k 每秒標記！！！ 真是太驚人了！