С помощью функции f(x) = atan(C*x)/(pi/2) ты можешь смапить -inf...inf в -1..1, оставив маленькие значения более-менее такими же, а большие сильно уменьшив, управляя силой сжатия параметром C. А дальше нормируешь вектор как обычно к новой длине.
длина_вектора=sqrt(sum(градиент.^2));
новая_длина_вектора = f(длина_вектора)
новый_градиент = градиент * новая_длина_вектора/длина_вектора