Funció de valor

La funció de valor d'un problema d'optimisació proporciona el valor alcançat per la funció de pèrdua d'una solució, sempre i quan solament depenga dels paràmetros del problema.^[1]^[2]

Propietats

En un sistema dinàmic controlat, la funció de valor representa el resultat òptim del sistema en l'interval [t, t₁] quan s'inicia la variable d'estat en el moment t x(t)=x.^[3] Si la funció objectiu representa algun cost que deu minimisar-se, la funció de valor pot interpretar-se com el cost per a terminar el programa òptim i, per lo tant, li la denomina "funció de cost pendent".^[4]^[5] En un context econòmic, a on la funció objectiu generalment representa l'utilitat obtinguda, la funció de valor és conceptualment equivalent a la funció d'utilitat indirecta.^[6]^[7]

En un problema de control òptim, la funció de valor es definix com l'element suprem i ínfim de la funció objectiu presa sobre el conjunt de controls admissibles. Dau $(t_{0}, x_{0}) \in [0, t_{1}] \times ℝ^{d}$ , un problema típic de control òptim és:

maximizar J (t_{0}, x_{0}; u) = \int_{t_{0}}^{t_{1}} I (t, x (t), u (t)) d t + ϕ (x (t_{1}))

subjecte a

\frac{d x (t)}{d t} = f (t, x (t), u (t))

en variable d'estat inicial $x (t_{0}) = x_{0}$ .^[8] La funció objectiu $J (t_{0}, x_{0}; u)$ deu maximizar sobre tots els controls admissibles $u \in U [t_{0}, t_{1}]$ , a on $u$ és una funció mesurable de Lebesgue depenent de $[t_{0}, t_{1}]$ sobre algun conjunt arbitrari prescrit en $ℝ^{m}$ . La funció de valor es definix llavors com:

en $V (t_{1}, x (t_{1})) = ϕ (x (t_{1}))$ , a on $ϕ (x (t_{1}))$ és el "valor residual". Si el parell òptim de trayectòries de control i estat és $(x^{*}, u^{*})$ , llavors $V (t_{0}, x_{0}) = J (t_{0}, x_{0}; u^{*})$ . La funció $h$ que proporciona el control òptim $u^{*}$ en funció de l'estat actual $x$ es denomina política de control de retroalimentació,^[4] o simplement funció de política.^[9]

El principi d'optimisació de Bellman establix aproximadament que qualsevol política òptima en el moment $t$ , prenent $t_{0} \leq t \leq t_{1}$ com l'estat actual $x (t)$ tractat com a condició inicial "nova" deu ser òptima per al problema restant. Si la funció de valor resulta ser contínuament diferenciable,^[10] açò dona lloc a una equació en derivades parcials important, coneguda com equació d'Hamilton-Jacobi-Bellman

- \frac{\partial V (t, x)}{\partial t} = \max_{u} {I (t, x, u) + \frac{\partial V (t, x)}{\partial x} f (t, x, u)}

a on el maximizador en el costat dret de l'equació també es pot reescriure com un hamiltoniano, $H (t, x, u, λ) = I (t, x, u) + λ (t) f (t, x, u)$ , com

- \frac{\partial V (t, x)}{\partial t} = \max_{u} H (t, x, u, λ)

en $\partial V (t, x) / \partial x = λ (t)$ eixercitant el paper de les variables de cost.^[11] Donada esta definició, es té ademés que $d λ (t) / d t = \partial^{2} V (t, x) / \partial x \partial t + \partial^{2} V (t, x) / \partial x^{2} \cdot f (x)$ , i despuix de diferenciar abdós costats de l'equació d'Hamilton-Jacobi-Bellman sobre $x$ ,

- \frac{\partial^{2} V (t, x)}{\partial t \partial x} = \frac{\partial I}{\partial x} + \frac{\partial^{2} V (t, x)}{\partial x^{2}} f (x) + \frac{\partial V (t, x)}{\partial x} \frac{\partial f (x)}{\partial x}

que, despuix de reemplaçar els térmens apropiats, recupera l'equació de costs

- \dot{λ} (t) = \underset{= \frac{\partial H}{\partial x}}{\underset{⏟}{\frac{\partial I}{\partial x} + λ (t) \frac{\partial f (x)}{\partial x}}}

a on $\dot{λ} (t)$ s'expressa segons la notació de Newton de la derivada sobre el temps.^[12]

La funció de valor és l'única solució de viscosidad de l'equació d'Hamilton-Jacobi-Bellman.^[13] En un control òptim aproximat de bucle tancat en llínea, la funció de valor també és una funció de Liapunov que establix l'estabilitat asintòtica global del sistema de bucle tancat.^[14]

Referències

↑ (1975) Deterministic and Stochastic Optimal Control, New York: Springer, pp. 81–83. ISBN 0-387-90155-8.
↑ Caputo, Michael R. (2005). Foundations of Dynamic Economic Analysis : Optimal Control Theory and Applications, New York: Cambridge University Press, p. 185. ISBN 0-521-60368-4.
↑ Weber, Thomas A. (2011). Optimal Control Theory : with Applications in Economics, Cambridge: The MIT Press, p. 82. ISBN 978-0-262-01573-8.
↑ ^4,0 ^4,1 (1996) Neuro-Dynamic Programming, Belmont: Athena Scientific, p. 2. ISBN 1-886529-10-8.
↑ «EE365: Dynamic Programming».
↑ (1995) Microeconomic Theory, New York: Oxford University Press, p. 964. ISBN 0-19-507340-1.
↑ (2009) An Introduction to Mathematical Analysis for Economic Theory and Econometrics, Princeton University Press, p. 145. ISBN 978-0-691-11867-3.
↑ (1991) Dynamic Optimization : The Calculus of Variations and Optimal Control in Economics and Management, 2nd edició, Amsterdam: North-Holland, p. 259. ISBN 0-444-01609-0.
↑ (2018) Recursive Macroeconomic Theory, Fourth edició, Cambridge: MIT Press, p. 106. ISBN 978-0-262-03866-9.
↑ Benveniste i Scheinkman varen establir condicions suficients per a la diferenciabilidad de la funció de valor, que a la seua volta permet una aplicació del teorema de la envolvente, vore “On the Differentiability of the Value Function in Dynamic Models of Economics” (1979). Econometrica 47 (3): 727–732. doi:10.2307/1910417. Vore també Seierstad, Atle (1982). “Differentiability Properties of the Optimal Value Function in Control Theory”. Journal of Economic Dynamics and Control 4: 303–310. doi:10.1016/0165-1889(82)90019-7.
↑ Kirk, Donald E. (1970). Optimal Control Theory, Englewood Cliffs, NJ: Prentice-Hall, p. 88. ISBN 0-13-638098-0.
↑ Zhou, X. Y. (1990). “Maximum Principle, Dynamic Programming, and their Connection in Deterministic Control”. Journal of Optimization Theory and Applications 65 (2): 363–373. doi:10.1007/BF01102352.
↑ Theorem 10.1 in Bressan, Alberto. «Viscosity Solutions of Hamilton-Jacobi Equations and Optimal Control Problems». Lecture Notes.
↑ (2018) «Optimal Control and Lyapunov Stability», Reinforcement Learning for Optimal Feedback Control: A Lyapunov-Based Approach, Berlin: Springer, pp. 26–27. ISBN 978-3-319-78383-3.

Referències

Este artícul conté una traducció derivada de «Función de valor» de Wikipedia en castellà publicada baix la Llicència de documentació lliure de GNU i la Llicència Creative Commons Reconeiximent-CompartirIgual 4.0 Internacional.

[1] (1975) Deterministic and Stochastic Optimal Control, New York: Springer, pp. 81–83. ISBN 0-387-90155-8.

[2] Caputo, Michael R. (2005). Foundations of Dynamic Economic Analysis : Optimal Control Theory and Applications, New York: Cambridge University Press, p. 185. ISBN 0-521-60368-4.

[3] Weber, Thomas A. (2011). Optimal Control Theory : with Applications in Economics, Cambridge: The MIT Press, p. 82. ISBN 978-0-262-01573-8.

[Bertsekas_Tsitsiklis-4] 4,0 ^4,1 (1996) Neuro-Dynamic Programming, Belmont: Athena Scientific, p. 2. ISBN 1-886529-10-8.

[5] «EE365: Dynamic Programming».

[6] (1995) Microeconomic Theory, New York: Oxford University Press, p. 964. ISBN 0-19-507340-1.

[7] (2009) An Introduction to Mathematical Analysis for Economic Theory and Econometrics, Princeton University Press, p. 145. ISBN 978-0-691-11867-3.

[8] (1991) Dynamic Optimization : The Calculus of Variations and Optimal Control in Economics and Management, 2nd edició, Amsterdam: North-Holland, p. 259. ISBN 0-444-01609-0.

[9] (2018) Recursive Macroeconomic Theory, Fourth edició, Cambridge: MIT Press, p. 106. ISBN 978-0-262-03866-9.

[10] Benveniste i Scheinkman varen establir condicions suficients per a la diferenciabilidad de la funció de valor, que a la seua volta permet una aplicació del teorema de la envolvente, vore “On the Differentiability of the Value Function in Dynamic Models of Economics” (1979). Econometrica 47 (3): 727–732. doi:10.2307/1910417. Vore també Seierstad, Atle (1982). “Differentiability Properties of the Optimal Value Function in Control Theory”. Journal of Economic Dynamics and Control 4: 303–310. doi:10.1016/0165-1889(82)90019-7.

[11] Kirk, Donald E. (1970). Optimal Control Theory, Englewood Cliffs, NJ: Prentice-Hall, p. 88. ISBN 0-13-638098-0.

[12] Zhou, X. Y. (1990). “Maximum Principle, Dynamic Programming, and their Connection in Deterministic Control”. Journal of Optimization Theory and Applications 65 (2): 363–373. doi:10.1007/BF01102352.

[13] Theorem 10.1 in Bressan, Alberto. «Viscosity Solutions of Hamilton-Jacobi Equations and Optimal Control Problems». Lecture Notes.

[14] (2018) «Optimal Control and Lyapunov Stability», Reinforcement Learning for Optimal Feedback Control: A Lyapunov-Based Approach, Berlin: Springer, pp. 26–27. ISBN 978-3-319-78383-3.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]