Il vero vantaggio di poter addestrare un modello con 1T di parametri con un budget "risicato" non è il risparmio sui costi. È il guadagno in efficienza che ti consente di muoverti più velocemente e aumentare la tua velocità di iterazione. Fai attenzione alla pendenza. Da quando ho memoria, i migliori modelli di deep learning provengono dai laboratori che iterano più velocemente.