Smooth DiLoCo: (@aaron_defazio et al.) Icke-distribuerat alternativ, med mindre minnesöverhead (endast en extra buffert) och en kontinuerlig uppdatering istället för den periodiska (ganska våldsamma) yttre uppdateringen som klassisk DiLoCo har Nyfiken på att se utökat till distribuerat!