Алгоритм Левенберга-Марквардта

Алгоритм Левенберга-Марквардта предназначен для оптимизации параметров нелинейных регрессионных моделей. Предполагается, что в качестве критерия оптимизации используется среднеквадратичная ошибка модели на обучающей выборке. Алгоритм заключается в последовательном приближении заданных начальных значений параметров к искомому локальному оптимуму.

Задана обучающая выборка – множество пар свободной переменной (входы сети) и зависимой переменной . Задана функциональная зависимость, представляющую собой регрессионную модель , непрерывно дифференцируемую в области W·X. Параметр wявляется вектором весовых коэффициентов. Требуется найти такое значение вектора w, которое бы доставляло локальный минимум функции ошибки 

Перед началом работы алгоритма задается начальный вектор весовых коэффициентов w. 

1. На каждом шаге итерации этот вектор заменяется на вектор . 

   Для оценки приращения  используется линейное приближение функции  где J – якобиан функции f(w,x_n) в точке w. 
   Матрицу J наглядно можно представить в виде

   Здесь вектор весовых коэффициентов .
   Приращение  в точке w, доставляющее минимум E_Dравно нулю. Поэтому для нахождения последующего приращения  приравняем нулю вектор частных производных E_D по w.
    где и 
   Преобразовывая и дифференцируя это выражение 
    
   получим .
   Таким образом, чтобы найти значение  нужно решить систему линейных уравнений 
   Так как число обусловленности матрицы J^TJ есть квадрат числа обусловленности матрицы J, то матрица J^TJ может оказаться существенно вырожденной. Поэтому Марквардтом введен параметр регуляризации

2.  где I – единичная матрица. Этот параметр назначается на каждой итерации алгоритма. Если значение ошибки E_D убывает быстро, малое значение  сводит этот алгоритм к алгоритму Гаусса-Ньютона.
3. Алгоритм останавливается в том случае, если приращение  в последующей итерации меньше заданного значения, либо если вектор весовых коэффициентов доставляет ошибку E_D, меньшую заданной величины, или если исчерпано число циклов обучения НС. Значение вектора w на последней итерации считается искомым.

Недостаток алгоритма – значительное уменьшение скорости аппроксимации при увеличении параметра .