ibtop ci ha appena fatto risparmiare molto tempo di debug. Il cluster aveva una pessima performance di all-reduce, ma controllando la configurazione di infiniband tra i nodi il problema è emerso immediatamente (vedi screenshot di due nodi). Potrei dedicare più tempo allo strumento per renderlo più adatto all'automazione.