Метод наискорейшего спуска
Итерационный процесс строится по общей формуле (2.4.3), где Ф(x(k)) = x(k) – λ kÑ U(x(k)). (2.4.7) Функция U(x) преобразует систему функций f в скалярную функцию векторного аргумента:
Очевидно, что
Т.е. единственной проблемой остается поиск параметра λ k. Он должен минимизировать функцию Ф(x) вдоль направления Ñ U(x):
Очевидно, что он должен быть положительным, иначе мы будем двигаться в направлении градиента, а не антиградиента функции (т.е. искать максимум). Как известно, в точке минимума (как и в других точках экстремума) значение производной функции равно нулю. Используем этот факт для минимизации выражения (2.4.10):
Уравнение (2.4.11) можно решить численно, если использовать правила дифференцирования. Можно его решить и аналитически, если прибегнуть к некоторым приближениям. Тогда получим
где
|
(2.4.8)
(2.4.9)
(2.4.10)
(2.4.11)
(2.4.12)
