🧵П'ять попередніх трюків від CAI.
До угоди з Google @character_ai проводив попереднє навчання на GCP H100-TCPX, який має чверть пропускної здатності як IB (!). @NoamShazeer винайшов алгоритм градієнтного стиснення під назвою «Squinch», який підтримував SOTA MFU, незважаючи на слабкі мережі.
Пощастило бути частиною двох (!) проєктів фонду (@vllm_project та @raydistributed), які мають велику синергію один з одним.
Стек Ray + vLLM + PyTorch збирається разом.
Зі святом, Рай!
Ми раді вітати Рея у Фонді 👋 PyTorch, @raydistributed — це фреймворк розподілених обчислень з відкритим вихідним кодом для #AI робочих навантажень, включаючи обробку даних, навчання моделей та масштабне висновування. Роблячи внесок Ray у @PyTorch Foundation, @anyscalecompute підтверджує свою прихильність до відкритого управління та довгострокової стійкості Ray та штучного інтелекту з відкритим вихідним кодом. ➡️ Читайте анонс: #PyTorchCon