ibtop только что сэкономил нам много времени на отладку. Кластер имел ужасную производительность all-reduce, но проверка конфигурации infiniband на узлах сразу показала проблему (см. скриншот двух узлов). Я, возможно, потрачу больше времени на инструмент, чтобы сделать его более удобным для автоматизации.