Принцип оптимальности Беллмана

Рассмотрим принцип оптимальности Беллмана.

Метод динамического программирования состоит в том, что оптимальное управление строится постепенно. На каждом шаге оптимизируется управление только этого шага. Вместе с тем на каждом шаге управление выбирается с учётом последствий, так как управление, оптимизирующее целевую функцию только для данного шага, может привести к неоптимальному эффекту всего процесса. Управление на каждом шаге должно быть оптимальным с точки зрения процесса в целом. Это основное правило динамического программирования, сформулированное Беллманом, называется принципом оптимальности.

Планируется эксплуатация оборудования в течение некоторого периода времени. Оборудование имеет тенденцию с течением времени стареть и приносить все меньший доход. При этом есть возможность в начале любого года продать устаревшее оборудование за определенную цену, которая также зависит от возраста, и купить новое оборудование. Под возрастом оборудования понимается период эксплуатации оборудования после последней замены, определенный в годах. Требуется найти оптимальный план замены оборудования на новое так, чтобы суммарный доход за все годы эксплуатации был максимальным.

Переменной управления является логическая переменная, которая может принимать одно из двух значений: сохранить (С) или заменить (3) оборудование (2.1):

С, если оборудование сохраняется;

xk (t) =

З, если оборудование заменяется (2.1)

Функцию Беллмана Fk(t) определяют как максимально возможный доход от эксплуатации оборудования. Применяя то или иное управление, система переходит в новое состояние.

На этой основе можно записать уравнение, которое позволяет рекуррентно вычислить функцию Беллмана (2.2).

(t)+Fk+1(t+1), (C)(t) =max(t)-P+r(0), (З), (2.2)

где r(t) - доход за этот год,+1(t + 1) - максимально возможный доход за оставшиеся годы, (t) - цена продажи оборудования,

Р - стоимость нового оборудования,(0) - прибыль от нового оборудования.

ИНФОРМАЦИОННО-МЕТОДИЧЕСКОЕ ОБЕСПЕЧЕНИЕ ЭКОНОМИЧЕСКОГО МОДЕЛИРОВАНИЯ