Kaikki tavoittelevat erittäin harvoja MoE:itä Jos otamme Alibaban tiekartan vertailukohtana Sitten 10T parametrit (1 % aktivointi, 100B aktiivinen) ja 100 biljoonan tokenin harjoittelu 30 % MFU:lla vaativat 6 * 10e25 FLOPia Sen voi kouluttaa 58 päivässä 20 000 H200 -klusterilla (300 miljoonaa dollaria laitteistoa, jos ostat, tai 60 miljoonaa dollaria, jos vuokraat)