Tilgængelig tilstand

Definition

Lad være en homogen Markov-kæde med diskret tid. En stat siges at være tilgængelig fra en stat, hvis der eksisterer sådan $\{X_{n}\}_{n\i \mathbb {N} }$ $j$ $jeg$ $n=n(i,j)$

p_{ij}^{(n)}\equiv \mathbb {P} (X_{n}=j\mid X_{0}=i)>0

De skriver . $i\rightarrow j$

Kommunikerende stater

stater og kaldes at kommunikere hvis og . Vi skriver :. $jeg$ $j$ $i\rightarrow j$ $j\rightarrow i$ $i venstre højre pil j$
Kommunikationsegenskaben genererer en ækvivalensrelation på tilstandsrummet . De genererede ækvivalensklasser kaldes uopløselige klasser . Hvis en Markov-kæde er sådan, at dens tilstande kun udgør én uopløselig klasse, så kaldes den uopløselig .
De tilstande, der tilhører den samme uopløselige klasse, er enten alle tilbagevendende eller alle ikke-tilbagevendende. En uopløselig klasse som helhed er således enten tilbagevendende eller ikke-tilbagevendende. Endelig er en irreducerbar Markov-kæde enten fuldstændig tilbagevendende eller fuldstændig irreversibel.

Eksempler

Lade være en tre-state Markov kæde , og dens overgang sandsynlighed matrix har formen $\{X_{n}\}_{n\geq 0}$ ${\displaystyle \{1,2,3\))$

P=\left({\begin{matrix}0.5&0.5&0\\0.1&0.9&0\\0&0&1\end{matrix}}\right).

Tilstandene i denne kæde danner to uopløselige klasser: og . Især , men også . $\{1,2\}$ $\{3\}$ $1\leftrightarrow 2$ $1\ikke \rightarrow 3$ $3\ikke \rightarrow 1$

Markov kæde defineret af matrixen af overgangssandsynligheder

P=\left({\begin{matrix}0&1&0\\0&0&1\\1&0&0\end{matrix}}\right)

uopløselige.

Klassificering af stater og Markov-kæder
Stat	aperiodisk returneres opnåelige uigenkaldelig ubetydelig nul periodisk positiv kommunikerer væsentlig
Lænke	aperiodisk returneres uigenkaldelig uopløselige nul tidsskrift positiv nedbrydeligt ergodisk