Markov øjeblik

I matematik er stoppunktsteorien eller Markov -tiden relateret til problemet med timing til at tage en bestemt handling for at maksimere den forventede belønning eller minimere de forventede omkostninger. Stoppepunktsproblemet kan findes inden for statistik , økonomi og finansiel matematik (associeret med amerikansk optionsprissætning ). Det mest bemærkelsesværdige eksempel relateret til det øjeblik, hvor man stopper, er problemet med kræsen brud . Stopmomentproblemet kan ofte skrives i form af Bellman-ligningen og løses derfor ofte ved hjælp af dynamisk programmering .

Definition

Diskret-tidstilfælde

Som regel er problemet med stopøjeblikket forbundet med to objekter:

En sekvens af stokastiske variable, hvis fælles fordeling antages at være kendt $X_{1},X_{2},\ldots$
En sekvens af "givende" funktioner , der afhænger af de observerede værdier af tilfældige variable i 1.: $(y_{i})_{i\geq 1}$ $y_{i}=y_{i}(x_{1},\ldots ,x_{i})$

I betragtning af disse objekter er problemet dette:

Du, der observerer sekvensen af tilfældige variabler, kan på hver enkelt vælge enten at stoppe med at observere eller fortsætte $jeg$
Hvis du stopper med at se , vil du blive belønnet $jeg$ $y_{i}$
Du vil vælge en stopregel for at maksimere den forventede belønning (eller tilsvarende minimere det forventede tab)

Kontinuerlig tidstilfælde

Overvej forstærkningen af processer defineret på et filtreret sandsynlighedsrum og antag, at dette er en tilpasning af filtreringen. Stoptidsproblemet er at finde den standsetid, der maksimerer det forventede udbytte . ${\displaystyle G=(G_{t})_{t\geq 0))$ $(\Omega ,{\mathcal {F}},({\mathcal {F}}_{t})_{t\geq 0},\mathbb {P} )$ $G$ $\tau ^{*}$

V_{t}^{T}=\mathbb {E} G_{\tau ^{*}}=\sup _{t\leq \tau \leq T}\mathbb {E} G_{\tau }

hvor kaldes værdien af funktionen . Det kan have betydning her . ${\displaystyle V_{t}^{T))$ $T$ $\infty$

En mere specifik formulering er som følger. Vi betragter en tilpasset stærk Markov-proces defineret på et filtreret sandsynlighedsrum, hvor angiver sandsynligheden for måling, hvor den tilfældige proces starter med . Under hensyntagen til kontinuerlige funktioner og i problemet med standsningstiden ${\displaystyle X=(X_{t})_{t\geq 0))$ $(\Omega ,{\mathcal {F}},({\mathcal {F}}_{t})_{t\geq 0},\mathbb {P} _{x})$ $\mathbb {P} _{x}$ $x$ $M,L$ $K$

V(x)=\sup _{0\leq \tau \leq T}\mathbb {E} _{x}\left(M(X_{\tau})+\int _{0}^{ \tau }L(X_{t})dt+\sup _{0\leq t\leq \tau }K(X_{t})\right).

Dette kaldes undertiden MLS-formuleringen (henholdsvis Meyer, Lagrange og Supremum). [en]

Løsningsmetoder

Der er to tilgange til at løse stoppunktsproblemet. Når den underliggende proces (eller procesforstærkning) beskrives ved dens ubetingede endelig-dimensionelle fordeling, så er den passende løsningsmetode Martingale-tilgangen, så navngivet, fordi den bruger Martingale -teori , hvor det vigtigste koncept er Snells udvikling . I det diskrete tilfælde, hvis planlægningshorisonten er begrænset, kan problemet let løses ved hjælp af dynamisk programmering . $T$

Når den underliggende proces er defineret af en familie af (betingede) overgangsfunktioner, der fører til en Markov-familie af probabilistiske overgange, kan de stærke analytiske værktøjer fra Markov-procesteorien ofte bruges, og denne tilgang kaldes Markov-metoden. Løsningen opnås normalt ved at løse tilhørende problemer med frie grænser (Stefan-problemer).

Jump Diffusion Resultat

Lad være Levy- diffusionen ind fra den stokastiske differentialligning $Y_{t}$ ${\mathbb {R}}^{k}$

dY_{t}=b(Y_{t})dt+\sigma (Y_{t})dB_{t}+\int _{\mathbb {R} ^{k))\gamma (Y_{t- },z){\bar {N}}(dt,dz),\quad Y_{0}=y

hvor er en -dimensionel Brownsk bevægelse , dette er et -dimensionelt kompenseret Poisson tilfældigt mål, , , og fungerer sådan, at der findes en unik løsning . Lad være et åbent sæt (solvensområdet) og $B$ $m$ ${\bar {N))$ $l$ ${\displaystyle b:\mathbb {R} ^{k}\to \mathbb {R} ^{k))$ ${\displaystyle \sigma :\mathbb {R} ^{k}\to \mathbb {R} ^{k\times m))$ ${\displaystyle \gamma :\mathbb {R} ^{k}\times \mathbb {R} ^{k}\to \mathbb {R} ^{k\times l))$ $(Y_{t})$ ${\mathcal {S}}\subset \mathbb {R} ^{k}$

\tau _{\mathcal {S}}=\inf\{t>0:Y_{t}\notin {\mathcal {S}}\}

konkurstid. Optimalt stopproblem:

V(y)=\sup _{\tau \leq \tau _{\mathcal {S))}J^{\tau }(y)=\sup _{\tau \leq \tau _{\ mathcal {S))}\mathbb {E} _{y}\venstre[M(Y_{\tau })+\int _{0}^{\tau }L(Y_{t})dt\right].

Det viser sig, at under visse regularitetsbetingelser [2] indeholder følgende verifikation af teoremet:

Hvis funktionen opfylder $\phi :{\bar {\mathcal {S}}}\to \mathbb {R}$

$\phi \in C({\bar {\mathcal {S}}})\cap C^{1}({\mathcal {S}})\cap C^{2}({\mathcal {S }}\setminus \partial D)$ hvor områder er fortsættelser af , $D=\{y\in {\mathcal {S}}:\phi (y)>M(y)\}$
$\phi \geq M$ på og ${\mathcal {S))$
${\mathcal {A}}\phi +L\leq 0$ på , hvor er en infinitesimal generator fra ${\mathcal {S}}\setminus \partial D$ ${\mathcal {A}}$ $(Y_{t})$

så for alle . Desuden, hvis $\phi (y)\geq V(y)$ ${\displaystyle y\in {\bar {\mathcal {S))))$

${\mathcal {A}}\phi +L=0$ på den $D$

Så for alle og er stoppetiden $\phi (y)=V(y)$ ${\displaystyle y\in {\bar {\mathcal {S))))$ ${\displaystyle \tau ^{*}=\inf\{t>0:Y_{t}\notin D\))$

Disse betingelser kan skrives i en mere kompakt form (integro-variationel ulighed):

$\max \left\{{\mathcal {A}}\phi +L,M-\phi \right\}=0$ på den ${\mathcal {S}}\setminus \partial D.$

Eksempler

Møntkast

(For eksempel hvor konvergerer) $\mathbb {E} (y_{i})$

Du har en mønt, og du kaster den gentagne gange. Hver gang, før du kaster det, kan du stoppe med at kaste det og blive betalt (i dollars, lad os sige) for det gennemsnitlige antal hoveder, du ser.

Du vil have det maksimale beløb, du ville blive betalt ved at vælge en stopregel. Hvis x i (hvor i ≥ 1) danner en sekvens af uafhængige, identisk fordelte stokastiske variable med en Bernoulli-fordeling

{\text{Bern}}\left({\frac {1}{2}}\right),

og hvis

y_{i}={\frac {1}{i}}\sum _{k=1}^{i}X_{k}

så vil der i rækkefølgen være objekter relateret til dette problem. $(X_{i})_{i\geq 1}$ $(y_{i})_{i\geq 1}$

Sælger et hus

(For eksempel, hvor det ikke nødvendigvis konvergerer) $\mathbb {E} (y_{i})$

Du har et hus og vil gerne sælge det. Hver dag tilbydes du til dit hjem, og betaler for fortsat annoncering. Hvis du sælger dit hjem dagligt , vil du tjene hvor . $X_n$ $k$ $n$ $y_{n}$ $y_{n}=(X_{n}-nk)$

Du vil maksimere det beløb, du tjener, ved at vælge en stopregel.

I dette eksempel er sekvensen ( ) rækkefølgen af tilbud til dit hus, og rækkefølgen af "belønninger" afgør, hvor meget du vil tjene. $X_{i}$

Kræsen brud problem

(Hvor er f.eks. den endelige sekvens) $(X_{i})$

Du observerer en sekvens af objekter, der kan sorteres fra bedst til værst. Du vil vælge en stopregel, der maksimerer dine chancer for at vælge den bedste funktion.

For eksempel, hvis ( n er et stort tal, måske) er rækken af funktionerne, og dette er chancen for, at du vil vælge den bedste funktion, hvis du stopper med at afvise funktioner med vilje i trin i, så er det de sekvenser, der er forbundet med dette problem. Dette problem blev løst i begyndelsen af 1960'erne af flere mennesker. En elegant løsning på sekretærproblemet og adskillige modifikationer til dette problem leveres af en mere moderne optimal stopalgoritme (Bruces algoritme). ${\displaystyle R_{1},\ldots ,R_{n))$ $y_{i}$ $(R_{i})$ $(y_{i})$

Søgeteori

Økonomer har undersøgt en række optimale standsetidsproblemer svarende til "sekretærens problem" og refererer almindeligvis til denne type analyse som "søgningsteori". Søgeteori er især fokuseret på en medarbejders søgen efter et højtbetalt job eller en forbrugers søgen efter et billigt produkt.

Optionshandel

Ved handel med optioner på de finansielle markeder kan indehaveren af en amerikansk option udøve retten til at købe (eller sælge) det underliggende aktiv til en bestemt pris på et hvilket som helst tidspunkt før eller ved udløb. At værdsætte amerikanske muligheder er således i det væsentlige et optimalt stopproblem. Overvej den klassiske Black-Scholes-model og lad være den risikofrie rente og udbyttesatsen og aktievolatiliteten. Aktiekursen følger geometrisk Brownsk bevægelse $r$ $\delta$ $\sigma$ $S$

S_{t}=S_{0}\exp \left\{\left(r-\delta -{\frac {\sigma ^{2}}{2}}\right)t+\sigma B_{t }\ret\}

Ifølge risikomålet.

Når parameteren er uendelig, er det optimale stopproblem

V(x)=\sup _{\tau }\mathbb {E} _{x}\left[e^{-r\tau }g(S_{\tau })\right]

hvor er payoff-funktionen for call-optionen og for bet-muligheden. Variationel ulighed ${\displaystyle g(x)=(xK)^{+))$ ${\displaystyle g(x)=(Kx)^{+))$

\max \left\{{\frac {1}{2}}\sigma ^{2}x^{2}V''(x)+(r-\delta )xV'(x)-rV (x),g(x)-V(x)\right\}=0

for alle , hvor det er grænsen for fysisk træning. Løsningen er kendt [3] $x\in (0,\infty )\setminus \{b\}$ $b$

(Uendelig udfordring) hvor og $V(x)={\begin{cases}(bK)(x/b)^{\gamma }&x\in (0,b)\\xK&x\in [b,\infty )\end{cases }}$ $\gamma =({\sqrt {\nu ^{2}+2r))-\nu )/\sigma$ $\nu =(r-\delta )/\sigma -\sigma /2,\quad b=\gamma K/(\gamma -1).$
(uendelig hastighed) hvor og $V(x)={\begin{cases}Kx&x\in (0,c]\\(Kc)(x/c)^{\tilde {\gamma }}&x\in (c,\infty) \end{sager}}$ ${\tilde {\gamma }}=-({\sqrt {\nu ^{2}+2r}}+\nu )/\sigma$ $\nu =(r-\delta )/\sigma -\sigma /2,\quad c={\tilde {\gamma }}K/({\tilde {\gamma }}-1).$

På den anden side, når tidsgrænsen er begrænset, er problemet relateret til det todimensionelle frie grænseproblem uden en kendt lukket-form løsning. Der kan dog bruges forskellige numeriske metoder. Se Black-Scholes Model#American Options for forskellige værdiansættelsesmetoder her, og Fugit for en diskret træbaseret optimal tid til at træne beregning.

Se også

Stokastisk kontrol
Markovs beslutningsproces