Smooth DiLoCo:(@aaron_defazio他) 分散型でない代替案で、メモリの負荷が少なく(バッファが1つ追加のみ)、従来のDiLoCoのような周期的(やや激しい)外部更新の代わりに継続的な更新が可能です 拡大して分散化するのを見てみたいです!