Markov proces

En Markov-proces er en tilfældig proces, hvis udvikling efter en given værdi af tidsparameteren ikke afhænger af udviklingen, der gik forud for den, forudsat at værdien af processen i dette øjeblik er fast ("fremtiden" for processen afhænger ikke af på "fortiden" med en kendt "nutid"; en anden fortolkning ( Wentzel ): Processens "fremtid" afhænger kun af "fortiden" gennem "nutiden"). $t$ $t$

Markov-processen er en førsteordens autoregressiv model AR(1): . ${\displaystyle X_{t}=c+\alpha X_{t-1}+\varepsilon _{t))$

En Markov-kæde er et specialtilfælde af en Markov-proces, når rummet af dens tilstande er diskret (dvs. ikke mere end tælleligt) [1] .

Historie

Egenskaben, der definerer en Markov-proces, kaldes normalt en Markov-egenskab; det blev først formuleret af A. A. Markov , som i værkerne af 1907 påbegyndte undersøgelsen af sekvenser af afhængige forsøg og summen af tilfældige variabler forbundet med dem. Denne forskningslinje er kendt som teorien om Markov-kæder .

Dog allerede i L. Bacheliers arbejde kan man se et forsøg på at behandle Brownsk bevægelse som en Markov-proces, et forsøg, der fik retfærdiggørelse efter Wieners forskning i 1923 .

Grundlaget for den generelle teori om Markov-processer med kontinuerlig tid blev lagt af Kolmogorov .

Markov ejendom

Generel sag

Lad være et sandsynlighedsrum med filtrering efter nogle ( delvist ordnede ) sæt ; og lad være et målbart rum . En tilfældig proces defineret på et filtreret sandsynlighedsrum anses for at opfylde Markov-egenskaben, hvis for hver og $(\Omega ,{\mathcal {F}),\mathbb {P} )$ $({\mathcal {F}}_{t},\ t\in T)$ $T$ $(S,{\mathcal {S}})$ $X=(X_{t},\t\i T)$ $A\in {\mathcal {S}}$ $s,t\in T:s<t$

\mathbb {P} (X_{t}\in A|{\mathcal {F}}_{s})=\mathbb {P} (X_{t}\in A|X_{s}).

En Markov-proces er en tilfældig proces, der tilfredsstiller Markov-egenskaben med naturlig filtrering .

For Markov-kæder med diskret tid

Hvis er et diskret sæt og , kan definitionen omformuleres: $S$ $T=\mathbb {N}$

\mathbb {P} (X_{n}=x_{n}|X_{n-1}=x_{n-1},X_{n-2}=x_{n-2},\dots ,X_{0 }=x_{0})=\mathbb {P} (X_{n}=x_{n}|X_{n-1}=x_{n-1})

Et eksempel på en Markov-proces

Overvej et simpelt eksempel på en Markov stokastisk proces. Et punkt bevæger sig tilfældigt langs x-aksen. På tidspunktet t = 0 er punktet ved origo og forbliver der i et sekund. Et sekund senere kastes en mønt - hvis våbenskjoldet faldt ud, så flytter punktet X en længdeenhed til højre, hvis haler - til venstre. Et sekund senere kastes mønten igen, og den samme tilfældige bevægelse foretages, og så videre. Processen med at ændre positionen af et punkt (" vandre ") er en tilfældig proces med diskret tid ( t = 0, 1, 2, …) og et tælleligt sæt tilstande. En sådan tilfældig proces er markovsk, da den næste tilstand af punktet kun afhænger af den nuværende (nuværende) tilstand og ikke afhænger af tidligere tilstande (det er ligegyldigt hvilken vej og til hvilket tidspunkt punktet nåede den aktuelle koordinat).

Litteratur

Dyakonova E. E. Forgreningsprocesser i et tilfældigt Markov-miljø //Diskret. Mat., 26:3 (2014), 10-29

Se også

Noter

↑ A. V. Bulinsky, A. N. Shiryaev . Teori om tilfældige processer. — Fizmatlit , 2005.