🧵Пять приемов предварительного обучения от CAI.
Перед сделкой с Google, @character_ai проводил предварительное обучение на GCP H100-TCPX, который имеет 1/4 пропускной способности по сравнению с IB (!). @NoamShazeer изобрел алгоритм сжатия градиентов под названием "Squinch", поддерживающий SOTA MFU, несмотря на плохую сеть.
Счастлив быть частью двух (!) фундаментальных проектов (@vllm_project и @raydistributed), которые прекрасно дополняют друг друга.
Стек Ray + vLLM + PyTorch собирается вместе.
Поздравляю, Ray!
Мы рады приветствовать Рэя в Фонде PyTorch 👋 @raydistributed — это фреймворк для распределенных вычислений с открытым исходным кодом для задач #AI, включая обработку данных, обучение моделей и вывод результатов в масштабах. Внося вклад в Ray в Фонд @PyTorch, @anyscalecompute подтверждает свою приверженность открытой управляемости и долгосрочной устойчивости для Ray и открытого ИИ. ➡️ Читайте объявление: #PyTorchCon