Специалисты по глубокому обучению склонны считать, что когда градиенты (1-й порядок) застревают, то, безусловно, кривизна (2-й порядок/Гессиан) является решением. Возможно, что лучшее решение заключается в противоположном направлении: методы 0-го порядка.