Het ding dat de meeste mensen niet realiseren over model snelheid: Doug O’Laughlin, President van SemiAnalysis, zegt: "Google lijkt snel omdat het een enorme infrastructuur heeft en minder gebruikers." "Het omgekeerde probleem is dat ChatGPT te veel gebruikers heeft. Om meer mensen te bedienen, batch je tokens — en batching voegt latentie toe." "Wanneer je langzamere tokens ziet, is het vaak een keuze: meer gebruikers bedienen op dezelfde infrastructuur." "Flash-, mini- en micro-modellen zijn geen magie. Ze zijn zwaar geoptimaliseerd om snel te zijn onder echte belasting."