Метод покоординатного спуска

Данный метод сводит задачу поиска наименьшего значения функции нескольких переменных к многократному решению одномерных задач оптимизации. Если целевая функция задана явной формулой и является дифференцируемой, то мы можем вычислить ее частные производные и использовать их для определения направления убывания функции

по каждой переменной и поиска соответствующих одномерных минимумов. В противном случае, когда явной формулы для целевой функции нет, одномерные задачи следует решать с помощью одномерных методов.

Пусть требуется найти наименьшее значение целевой функции . В качестве начального приближения выберем в n-мерном пространстве некоторую точку с координатами . Зафиксируем все координаты функции и, кроме первой. Тогда - функция одной переменной . Решая одномерную задачу оптимизации для этой функции, мы от точки перейдем к точке , в которой функция принимает наименьшее значение по координате при фиксированных остальных координатах. В этом состоит первый шаг процесса оптимизации, состоящий в спуске по координате .

Зафиксируем теперь все координаты, кроме , и рассмотрим функцию этой переменной . Снова решая одномерную задачу оптимизации, находим ее наименьшее значение при , т.е. в точке .

Аналогично проводится спуск по координатам , а затем процедура снова повторяется от до и т.д. В результате этого процесса получается последовательность точек , в которых значения целевой функции составляют монотонно убывающую последовательность . На любом - м шаге этот процесс можно прервать, и значение принимается в качестве наименьшего значения целевой функции в рассматриваемой области.