Lad være en homogen Markov-kæde med diskret tid og et tælleligt antal tilstande. Betegn
overgangssandsynligheder pr . trin. Hvis der eksisterer en diskret fordeling sådan, at og
,så kaldes det ergodisk fordeling , og selve kæden kaldes ergodisk .
Lad være en Markov-kæde med et diskret tilstandsrum og en matrix af overgangssandsynligheder . Så er denne kæde ergodisk hvis og kun hvis den
Den ergodiske fordeling er så den eneste løsning på systemet:
.Markov-kæder | Klassificering af stater og|
---|---|
Stat | |
Lænke |