性能分析：DiLoCo 與聯邦學習 反直覺的發現：DiLoCo 的性能隨著複製品的增加而變差（M↑ = 性能↓），而聯邦學習則隨著客戶端的增加而變好（M↑ = 性能↑） 為什麼會有相反的趨勢？ DiLoCo：固定的數據預算分配 M 種方式。更多的複製品 = 每個複製品的數據更少。因此，總計算保持不變（等效浮點運算分析），每個工作者看到的數據是 D/M = 學習效果變差 聯邦學習：每個客戶端帶來新的數據。更多的客戶端 = 更多的獨特數據集。每個客戶端同時增加計算和新鮮數據。因此，總數據增長：D₁ + D₂ + ... + Dₘ = 更好的學習 關鍵見解：這不是關於算法 - 而是關於資源限制！ 感謝 @MatharyCharles 在 Scratch to Scale 的啟發性演講，我對 DiLoCo 和聯邦學習學到了很多。 如果你有興趣了解更多關於 DiLoCo、分佈式訓練和推理以及並行處理的內容，請查看 @TheZachMueller 的 Scratch to Scale 課程或以下任何資源： 來源： DiLoCo： 聯邦學習： Scratch to Scale： #MachineLearning #DistributedTraining #AI