Ecuación de Hamilton – Jacobi – Bellman - Hamilton–Jacobi–Bellman equation

En la teoría del control óptimo , la ecuación de Hamilton – Jacobi – Bellman ( HJB ) da una condición necesaria y suficiente para la optimización de un control con respecto a una función de pérdida . En general, es una ecuación diferencial parcial no lineal en la función de valor , lo que significa que su solución es la función de valor en sí. Una vez que se conoce esta solución, se puede usar para obtener el control óptimo tomando el maximizador (o minimizador) del hamiltoniano involucrado en la ecuación HJB.

La ecuación es el resultado de la teoría de la programación dinámica que fue pionera en la década de 1950 por Richard Bellman y sus colaboradores. La conexión con la ecuación de Hamilton-Jacobi de la física clásica fue dibujada por primera vez por Rudolf Kálmán . En problemas de tiempo discreto , la ecuación en diferencia correspondiente generalmente se denomina ecuación de Bellman .

Si bien los problemas variacionales clásicos , como el problema de la braquistocrona , se pueden resolver mediante la ecuación de Hamilton-Jacobi-Bellman, el método se puede aplicar a un espectro más amplio de problemas. Además, se puede generalizar a sistemas estocásticos , en cuyo caso la ecuación HJB es una ecuación diferencial parcial elíptica de segundo orden . Sin embargo, un gran inconveniente es que la ecuación HJB admite soluciones clásicas solo para una función de valor suficientemente suave , lo que no está garantizado en la mayoría de las situaciones. En cambio, se requiere la noción de una solución de viscosidad , en la que los derivados convencionales se reemplazan por subderivadas (valoradas en conjunto) .

Problemas de control óptimo

Considere el siguiente problema en el control óptimo determinista sobre el período de tiempo : ${\ Displaystyle [0, T]}$

${\ Displaystyle V_ {T} (x (0), 0) = \ min _ {u} \ left \ {\ int _ {0} ^ {T} C [x (t), u (t)] \, dt + D [x (T)] \ right \}}$

donde es la función de tasa de costo escalar y es una función que da el valor del legado en el estado final, es el vector de estado del sistema, se supone dado, y for es el vector de control que estamos tratando de encontrar. ${\ Displaystyle C [\ cdot]}$${\ Displaystyle D [\ cdot]}$${\ Displaystyle x (t)}$${\ Displaystyle x (0)}$${\ Displaystyle u (t)}$${\ Displaystyle 0 \ leq t \ leq T}$

El sistema también debe estar sujeto a

${\ Displaystyle {\ dot {x}} (t) = F [x (t), u (t)] \,}$

donde da el vector que determina la evolución física del vector de estado a lo largo del tiempo. ${\ Displaystyle F [\ cdot]}$

La ecuación diferencial parcial

Para este sistema simple (dejando ), la ecuación diferencial parcial de Hamilton-Jacobi-Bellman es ${\ Displaystyle V = V_ {T}}$

${\ Displaystyle {\ frac {\ V parcial (x, t)} {\ t parcial}} + \ min _ {u} \ izquierda \ {{\ frac {\ V parcial (x, t)} {\ x parcial }} \ cdot F (x, u) + C (x, u) \ right \} = 0}$

sujeto a la condición terminal

${\ Displaystyle V (x, T) = D (x), \,}$

El escalar desconocido en la ecuación diferencial parcial anterior es la función de valor de Bellman , que representa el costo incurrido al comenzar en el estado en el momento y controlar el sistema de manera óptima desde ese momento hasta el momento . ${\ Displaystyle V (x, t)}$${\ Displaystyle x}$${\ Displaystyle t}$${\ Displaystyle T}$

Derivando la ecuación

Intuitivamente, la ecuación HJB se puede derivar de la siguiente manera. Si es la función óptima de costo para llevar (también llamada 'función de valor'), entonces por el principio de optimalidad de Richard Bellman , yendo del tiempo t al t  +  dt , tenemos ${\ Displaystyle V (x (t), t)}$

${\ Displaystyle V (x (t), t) = \ min _ {u} \ left \ {V (x (t + dt), t + dt) + \ int _ {t} ^ {t + dt} C (x (s), u (s)) \, ds \ derecha \}.}$

Tenga en cuenta que la expansión de Taylor del primer término en el lado derecho es

${\ Displaystyle V (x (t + dt), t + dt) = V (x (t), t) + {\ frac {\ parcial V (x, t)} {\ parcial t}} \, dt + { \ frac {\ parcial V (x, t)} {\ parcial x}} \ cdot {\ dot {x}} (t) \, dt + {\ mathcal {o}} (dt),}$

donde denota los términos de la expansión de Taylor de orden superior de uno de cada poco- o notación . Luego, si restamos de ambos lados, dividimos entre dt y tomamos el límite cuando dt se acerca a cero, obtenemos la ecuación HJB definida anteriormente. ${\ Displaystyle {\ mathcal {o}} (dt)}$${\ Displaystyle V (x (t), t)}$

Resolver la ecuación

La ecuación HJB generalmente se resuelve hacia atrás en el tiempo , comenzando y terminando en . ${\ Displaystyle t = T}$${\ Displaystyle t = 0}$

Cuando se resuelve en todo el espacio de estados y es continuamente diferenciable, la ecuación HJB es una condición necesaria y suficiente para un óptimo cuando el estado terminal no está restringido. Si podemos resolverlo , podemos encontrar a partir de él un control que logre el costo mínimo. ${\ Displaystyle V (x)}$${\ Displaystyle V}$${\ Displaystyle u}$

En el caso general, la ecuación HJB no tiene una solución clásica (suave). Se han desarrollado varias nociones de soluciones generalizadas para cubrir tales situaciones, incluida la solución de viscosidad ( Pierre-Louis Lions y Michael Crandall ), la solución minimax ( Andrei Izmailovich Subbotin  [ ru ] ) y otras.

La programación dinámica aproximada ha sido introducida por DP Bertsekas y JN Tsitsiklis con el uso de redes neuronales artificiales ( perceptrones multicapa ) para aproximar la función de Bellman en general. Esta es una estrategia de mitigación efectiva para reducir el impacto de la dimensionalidad al reemplazar la memorización del mapeo de funciones completo para todo el dominio del espacio con la memorización de los únicos parámetros de la red neuronal. En particular, para los sistemas de tiempo continuo, se introdujo un enfoque de programación dinámica aproximada que combina ambas iteraciones de políticas con redes neuronales. En tiempo discreto, se introdujo un enfoque para resolver la ecuación HJB que combina iteraciones de valor y redes neuronales.

Alternativamente, se ha demostrado que la optimización de suma de cuadrados puede producir una solución polinomial aproximada a la ecuación de Hamilton-Jacobi-Bellman arbitrariamente bien con respecto a la norma. ${\ Displaystyle L ^ {1}}$

Extensión a problemas estocásticos

La idea de resolver un problema de control aplicando el principio de optimización de Bellman y luego trabajando hacia atrás en el tiempo una estrategia de optimización puede generalizarse a problemas de control estocásticos. Considere similar al anterior

${\ Displaystyle \ min _ {u} \ mathbb {E} \ left \ {\ int _ {0} ^ {T} C (t, X_ {t}, u_ {t}) \, dt + D (X_ { T}) \ derecha \}}$

ahora con el proceso estocástico para optimizar y la dirección. Al usar primero Bellman y luego expandir con la regla de Itô , se encuentra la ecuación estocástica HJB ${\ Displaystyle (X_ {t}) _ {t \ in [0, T]} \, \!}$${\ Displaystyle (u_ {t}) _ {t \ in [0, T]} \, \!}$${\ Displaystyle V (X_ {t}, t)}$

${\ Displaystyle \ min _ {u} \ left \ {{\ mathcal {A}} V (x, t) + C (t, x, u) \ right \} = 0,}$

donde representa el operador de diferenciación estocástica , y sujeto a la condición terminal ${\ Displaystyle {\ mathcal {A}}}$

${\ Displaystyle V (x, T) = D (x) \, \ !.}$

Tenga en cuenta que la aleatoriedad ha desaparecido. En este caso, una solución de este último no resuelve necesariamente el problema principal, es solo un candidato y se requiere un argumento de verificación adicional. Esta técnica se utiliza ampliamente en Matemáticas financieras para determinar las estrategias de inversión óptimas en el mercado (ver, por ejemplo, el problema de cartera de Merton ). ${\ Displaystyle V \, \!}$

Aplicación al control de LQG

Como ejemplo, podemos ver un sistema con dinámica estocástica lineal y costo cuadrático. Si la dinámica del sistema está dada por

${\ Displaystyle dx_ {t} = (ax_ {t} + bu_ {t}) dt + \ sigma dw_ {t},}$

y el costo se acumula a una tasa , la ecuación HJB viene dada por ${\ Displaystyle C (x_ {t}, u_ {t}) = r (t) u_ {t} ^ {2} / 2 + q (t) x_ {t} ^ {2} / 2}$

${\ estilo de visualización - {\ frac {\ parcial V (x, t)} {\ parcial t}} = {\ frac {1} {2}} q (t) x ^ {2} + {\ frac {\ parcial V (x, t)} {\ Partical X}} ax - {\ frac {b ^ {2}} {2r (t)}} \ left ({\ frac {\ Particular V (x, t)} {\ parcial x}} \ derecha) ^ {2} + {\ frac {\ sigma ^ {2}} {2}} {\ frac {\ parcial ^ {2} V (x, t)} {\ parcial x ^ { 2}}}.}$

con acción óptima dada por

${\ Displaystyle u_ {t} = - {\ frac {b} {r (t)}} {\ frac {\ parcial V (x, t)} {\ parcial x}}}$

Suponiendo una forma cuadrática para la función de valor, obtenemos la ecuación habitual de Riccati para el hessiano de la función de valor, como es habitual para el control lineal-cuadrático-gaussiano .

Ver también

• Ecuación de Bellman , contraparte en tiempo discreto de la ecuación de Hamilton-Jacobi-Bellman.
• El principio máximo de Pontryagin , condición necesaria pero no suficiente para un óptimo, al maximizar un hamiltoniano , pero esto tiene la ventaja sobre HJB de que solo necesita ser satisfecho sobre la trayectoria única que se está considerando.

Referencias

Otras lecturas

• Bertsekas, Dimitri P. (2005). Programación dinámica y control óptimo . Athena Scientific.
• Pham, Huyên (2009). "El enfoque PDE clásico para la programación dinámica" . Optimización y control estocástico en tiempo continuo con aplicaciones financieras . Saltador. págs. 37–60. ISBN 978-3-540-89499-5.
• Stengel, Robert F. (1994). "Condiciones para la Optimidad" . Control y estimación óptimos . Nueva York: Dover. págs. 201–222. ISBN 0-486-68200-5.