Returtilstand

Returtilstanden er den tilstand af Markov-kæden, der besøges af den et uendeligt antal gange.

Definition

Lad en homogen Markov-kæde med diskret tid gives . Lade $\{X_{n}\}_{n\geq 0}$

f_{ii}^{(n)}=\mathbb {P} (X_{n}=i,\;X_{k}\not =i,\,k=1,\ldots ,n-1 \midt X_{0}=i)

er sandsynligheden for at forlade staten og vende tilbage til den nøjagtigt i trin. Derefter $jeg$ $n$

{\displaystyle f_{ii}=\sum \limits _{n=1}^{\infty }f_{ii}^{(n)))

er sandsynligheden for, efter at have forladt tilstanden , at vende tilbage til den (i en begrænset eller uendelig tid). $jeg$

En tilstand kaldes tilbagevendende (tilbagevendende), hvis . Ellers kaldes tilstanden uigenkaldelig (forbigående) . $jeg$ $f_{ii}=1$

Returkriterium

En stat kan returneres, hvis og kun hvis en af følgende betingelser er sande: $jeg$

$\sum \limits _{n=1}^{\infty }p_{ii}^{(n)}=\infty$ , hvor . $p_{ii}^{(n)}=\mathbb {P} (X_{n}=i\mid X_{0}=i)$
$\mathbb {P} \left(\limsup \limits _{n\to \infty }\{X_{n}=i\}\mid X_{0}=i\right)=1$ .

Staten er derfor uigenkaldelig, hvis og kun hvis en af følgende betingelser er opfyldt: $jeg$

$\sum \limits _{n=1}^{\infty }p_{ii}^{(n)}<\infty$ .
$\mathbb {P} \left(\limsup \limits _{n\to \infty }\{X_{n}=i\}\mid X_{0}=i\right)=0$ .

Returtid

Antag, at næsten overalt , og definer en tilfældig variabel , svarende til tidspunktet for den første tilbagevenden til tilstanden , dvs. $X_{0}=i$ $T_{i}$ $jeg$

T_{i}=\inf\{n\geq 1\mid X_{n}=i\}

Har så en diskret fordeling givet af sandsynlighedsfunktionen $T_{i}$

{\displaystyle \mathbb {P} (T_{i}=n)=f_{ii}^{(n)))

Returtilstanden kaldes positiv if $jeg$

\mathbb {E} [T_{i}]=\sum \limits _{n=1}^{\infty }nf_{ii}^{(n)}<\infty

og nul hvis

\mathbb {E} [T_{i}]=\infty

Gentagelse af en uopløselig klasse

Hvis staterne og er rapporteret , og er gensidige, så er staten også gensidig. $jeg$ $j$ $jeg$ $j$
Desuden, hvis staten er positiv, så er staten også positiv. $jeg$ $j$

Gentagelse og positivitet er således egenskaber for den uopløselige klasse . Hvis Markov-kæden er uopløselig, så taler man om dens gentagelse og positivitet.

Klassificering af stater og Markov-kæder
Stat	aperiodisk returneres opnåelige uigenkaldelig ubetydelig nul periodisk positiv kommunikerer væsentlig
Lænke	aperiodisk returneres uigenkaldelig uopløselige nul tidsskrift positiv nedbrydeligt ergodisk