Hamilton-Jacobi-Bellman ligning

Hamilton-Jacobi-Bellman-ligningen er en partiel differentialligning, der spiller en central rolle i optimal kontrolteori . Løsningen på ligningen er værdifunktionen , som giver den optimale værdi for et styret dynamisk system med en given omkostningsfunktion .

Hvis Hamilton-Jacobi-Bellman-ligningerne løses i en del af rummet, spiller de rollen som en nødvendig betingelse; når de løses i hele rummet, bliver de også en tilstrækkelig betingelse for en optimal løsning. Teknikken kan også anvendes på stokastiske systemer.

Klassiske variationsproblemer (såsom brachistokronproblemet ) kan løses ved hjælp af denne metode.

Ligningen er resultatet af udviklingen af dynamisk programmeringsteori , pioneret af Richard Bellman og kolleger. [en]

Den tilsvarende diskrete tidsligning kaldes ganske enkelt Bellman-ligningen . Når man overvejer et problem med kontinuerlig tid, kan de resulterende ligninger betragtes som en fortsættelse af tidligere arbejde inden for teoretisk fysik relateret til Hamilton-Jacobi-ligningen .

Optimale kontrolproblemer

Overvej følgende optimale kontrolproblem på tidsintervallet : $[0,T]$

V=\min _{u}\venstre\{\int _{0}^{T}C[x(t),u(t)]\,dt+D[x(T)]\right \},

hvor C og D er de omkostningsfunktioner, der bestemmer henholdsvis den integrale og terminale del af det funktionelle. x ( t ) er en vektor, der bestemmer systemets tilstand på hvert tidspunkt. Dets begyndelsesværdi x (0) antages at være kendt. Kontrolvektoren u ( t ) bør vælges på en sådan måde, at værdien af V minimeres .

Udviklingen af systemet under påvirkning af kontrol u ( t ) er beskrevet som følger:

{\dot {x}}(t)=F[x(t),u(t)].

PDE

For et så simpelt dynamisk system tager Hamilton-Jacobi-Bellman-ligningerne følgende form:

{\dot {V}}(x,t)+\min _{u}\venstre\{\nabla V(x,t)\cdot F(x,u)+C(x,u)\ højre\}=0

(ved det skalære produkt menes) og er givet ved værdien på det endelige tidspunkt T : $a\cdot b$

V(x,T)=D(x).

Det ukendte i denne ligning er Bellman "værdifunktionen" V ( x , t ), som svarer til den maksimale pris, der kan opnås ved at drive systemet fra tilstand ( x , t ) på en optimal måde op til tidspunktet T . Derfor er den optimale omkostning, der interesserer os, værdien V = V ( x (0), 0).

Afledning af ligningen

Lad os demonstrere det intuitive ræsonnement, der fører til denne ligning. Lad være en værdifunktion, så overvej overgangen fra tidspunkt t til tidspunkt t + dt i overensstemmelse med Bellman-princippet : ${\displaystyle V{\big (}x(t),t{\big )))$

V{\big (}x(t),t{\big )}=\min _{u}\venstre\{C{\big (}x(t+dt),u(t+dt) {\big )}\,dt+V{\big (}x(t+dt),t+dt{\big )}\right\}.

Lad os udvide det sidste udtryk ifølge Taylor:

V{\big (}x(t+dt),t+dt{\big )}=V{\big (}x(t),t{\big )}+{\dot {V)) {\big (}x(t),t{\big )}\,dt+\nabla V{\big (}x(t),t{\big )}\cdot {\dot {x}}(t) \,dt+o(dt^{2}).

Det er tilbage at flytte V ( x , t ) til venstre, dividere med dt og passere til grænsen.

Noter

↑ RE Bellman. Dynamisk programmering. Princeton, NJ, 1957.

Litteratur

R. E. Bellman: Dynamisk programmering og en ny formalisme i variationsregningen. Proc. Nat. Acad. sci. 40, 1954, 231-235.
R. E. Bellman: Dynamic Programming, Princeton 1957.
R. Bellman, S. Dreyfus: En anvendelse af dynamisk programmering til bestemmelse af optimale satellitbaner. J Brit. Interplanet. soc. 17, 1959, 78-83.