Постановка задачи оптимального управления и ее решение методом дп для дискретных систем

Имеем дискретную систему, описываемую системой из m разностных уравнений первого порядка вида

,         (7.1)

где  - вектор переменных состояния системы размерностью 1 ´ m, - вектор управления разностью 1 ´ r.  - известные функции, n - номер цикла.

Заданы также интервал управления n=0 ¸ N, начальное состояние системы  и ограничения на управление .

Необходимо найти оптимальное управление  на отрезке n = 0 ¸ N, чтобы обеспечить условия минимума функционала (целевой функции) вида:

,                (7.2)

где  - подынтегральная функция, F – терминальная функция.

Для решения задачи методом ДП для каждого цикла n составляется уравнение Беллмана:

       (7.3)

с краевым условием вида:

          (7.4)

Величина  есть приращение функционала J на цикле n. Затем для каждого цикла решаются уравнения (7.3) и определяются . Далее находят оптимальный вектор управления на n – ом цикле, такой, чтобы выполнялось условие:

              (7.5)

при             n = 0 ¸ N – 1.

При этом векторы оптимального управления  и оптимального состояния системы   должны удовлетворять уравнениям системы (7.1) и начальным условиям, то есть:

, n = 0 ¸ N – 1, i =  

                               (7.6)

Решение задачи ищется прямым счетом, обычно с конца процесса, вектор оптимального управления определяется по формуле:

    (7.7)  

Принцип максимума Понтрягина.

Эффективным средством исследования задач оптимального управления является принцип максимума Понтрягина, представляющий собой необходимое условие оптимальности в таких задачах.

Теорема (принцип максимума Понтрягина).

Пусть функции , ,..,  и, Ф, g₁,..., gm имеют частные производные по переменным х₁,..., Х_n и непрерывны вместе с этими производными по совокупности аргументов х  , и U, t  [to. Т]. Предположим, что (и, х)-решение задачи (2.1). Тогда существует решение ψ сопряженной системы (2.3), соответствующей управлению и траектории х, и константа  такие, что

|  | + || ψ (t) || при t  [to, Т], и выполняются следующие условия:

а) (условие максимума) при каждом t  [to. Т] функция Гамильтона Н(х,u,t,ψ₀,ψ), достигает максимума по ν U при v=u (t), т. е.

H(x(t), u(t), t,ψ₀,ψ) =max H(x(t), v(t), t,ψ₀,ψ) (2.4)

б) (условие трансверсальности на левом конце траектории) существуют числа , такие, что

 (2.5)

в) (условие трансверсальности на правом конце траектории) существуют числа  такие, что

 (2.6)

Центральным в теореме является условие максимума -(2.4).

Если отказаться от предположения о том, что конечный момент времени Т фиксирован, то теорема останется справедливой за исключением условия трансверсальности на правом конце траектории. Условие (2.6) заменим условием

и добавить еще одно условие трансверсальности на правом конце траектории: