Markov kæde

Den aktuelle version af siden er endnu ikke blevet gennemgået af erfarne bidragydere og kan afvige væsentligt fra den version , der blev gennemgået den 28. december 2019; checks kræver 9 redigeringer .

En Markov-kæde er en sekvens af tilfældige hændelser med et begrænset eller tælleligt antal udfald , hvor sandsynligheden for, at hver hændelse indtræffer kun afhænger af tilstanden nået i den foregående hændelse [1] . Det er kendetegnet ved den egenskab, at fremtiden, løst sagt, med en fast nutid er uafhængig af fortiden. Opkaldt til ære for A. A. Markov (senior) , som først introducerede dette koncept i arbejdet i 1906. [2]

Diskret-tids Markov kæde

Definition

En sekvens af diskrete stokastiske variable kaldes en simpel Markov-kæde (med diskret tid) if $\{X_{n}\}_{{n\geqslant 0}}$

{\mathbb {P}}(X_{{n+1}}=i_{{n+1}}\mid X_{n}=i_{n},X_{{n-1}}=i_{{n -1}},\ldots ,X_{0}=i_{0})={\mathbb {P}}(X_{{n+1}}=i_{{n+1}}\mid X_{n} =i_{n})

I det simpleste tilfælde afhænger den betingede fordeling af den næste tilstand af Markov-kæden kun af den aktuelle tilstand og afhænger ikke af alle tidligere tilstande (i modsætning til højere-ordens Markov-kæder).

Udvalget af tilfældige variable kaldes kædens tilstandsrum , og tallet er trintallet. $\{X_{n}\}$ $n$

Overgangsmatrix og homogene kæder

Matrix , hvor $P{(n)}$

P_{{ij}}{(n)}\equiv {\mathbb {P}}(X_{{n+1}}=j\mid X_{n}=i)

kaldes matrixen af overgangssandsynligheder på det -. trin, og vektoren , hvor $n$ ${\mathbf {p}}=(p_{1},p_{2},\ldots )^{{\top }}$

p_{i}\equiv {\mathbb {P}}(X_{0}=i)

— den første distribution af Markov-kæden.

Det er klart, at overgangssandsynlighedsmatrixen er ret stokastisk , dvs.

\sum \limits _{{j}}P_{{ij}}(n)=1,\quad \forall n\in {\mathbb {N}}

En Markov-kæde kaldes homogen , hvis overgangssandsynlighedsmatrixen ikke afhænger af trintallet, dvs.

P_{{ij}}{(n)}=P_{{ij}},\quad \forall n\in {\mathbb {N}}

Ellers kaldes Markov-kæden inhomogen. I det følgende vil vi antage, at vi har at gøre med homogene Markov-kæder.

Finit-dimensionelle fordelinger og n-trins overgangsmatrix

Fra egenskaberne af betinget sandsynlighed og definitionen af en homogen Markov-kæde får vi:

{\mathbb {P}}(X_{{n}}=i_{{n}},\ldots ,X_{0}=i_{0})=P_{{i_{{n-1}},i_{ n}}}\cdots P_{{i_{0},i_{1}}}P_{{i_{0}}}

hvorfra det særlige tilfælde af Kolmogorov-Chapman-ligningen følger:

{\mathbb {P}}(X_{n}=i_{n}\mid X_{0}=i_{0})=(P^{n})_{{i_{0},i_{n}} }

det vil sige, at matricen af overgangssandsynligheder pr. trin i en homogen Markov-kæde er den -. grad af matricen af overgangssandsynligheder pr. 1 trin. Langt om længe, $n$ $n$

{\mathbb {P}}(X_{n}=i_{n})=\venstre((P^{T})^{n}{\mathbf {p}}\right)_{{i_{n} }}

Tilstandstyper

returtilstand .
Tilbagevendende Markov-kæde .
Tilgængelig tilstand .
Irreducible Markov kæde .
Periodisk tilstand .
Periodisk Markov-kæde .
absorberende tilstand . Tilstanden kaldes absorberende hvis . $jeg$ $P_{i,i}=1$
Ergodisk tilstand .

Eksempler

Forgreningsproces ;
tilfældig gåtur ;

Markov-kæde med kontinuerlig tid

Definition

En familie af diskrete stokastiske variable kaldes en Markov-kæde (med kontinuerlig tid) if $\{X_{t}\}_{{t\geqslant 0}}$

{\mathbb {P}}(X_{{t+h}}=x_{{t+h}}\mid X_{s}=x_{s},\;0<s\leqslant t)={\mathbb {P}}(X_{{t+h}}=x_{{t+h}}\midt X_{t}=x_{t})

En Markov-kæde med kontinuerlig tid siges at være homogen if

{\mathbb {P}}(X_{{t+h}}=x_{{t+h}}\midt X_{t}=x_{t})={\mathbb {P}}(X_{{h }}=x_{{h}}\midt X_{0}=x_{0})

Matrixen af overgangsfunktioner og Kolmogorov-Chapman-ligningen

Som i tilfældet med diskret tid er de finit-dimensionelle fordelinger af en kontinuert-tidshomogen Markov-kæde fuldstændigt bestemt af den indledende fordeling

{\mathbf {p}}=(p_{1},p_{2},\ldots )^{{\top }},\;p_{i}={\mathbb {P}}(X_{0}= i),\quad i=1,2,\ldots

og matrixen af overgangsfunktioner ( overgangssandsynligheder )

{\mathbf {P}}(h)=(P_{{ij}}(h))={\mathbb {P}}(X_{h}=j\midt X_{0}=i)

Matricen af overgangssandsynligheder opfylder Kolmogorov-Chapman-ligningen : eller ${\mathbf {P}}(t+s)={\mathbf {P}}(t){\mathbf {P}}(s)$

P_{{ij}}(t+s)=\sum _{k}P_{{ik}}(t)P_{{kj}}(s).

Intensitetsmatrixen og Kolmogorovs differentialligninger

Per definition er intensitetsmatrixen eller tilsvarende, ${\mathbf {Q}}=\lim _{{h\to 0}}{\frac {{\mathbf {P}}(h)-{\mathbf {I}}}{h}}$

{\mathbf {Q}}=(q_{{ij}})=\left({\frac {dP_{{ij}}(h)}{dh}}\right)_{{h=0}}

To ligninger følger af Kolmogorov-Chapman-ligningen:

Direkte Kolmogorov-ligning ${\frac {d{\mathbf {P}}(t)}{dt}}={\mathbf {P}}(t){\mathbf {Q}},$
Omvendt Kolmogorov-ligning ${\frac {d{\mathbf {P}}(t)}{dt}}={\mathbf {Q}}{\mathbf {P}}(t).$

For begge ligninger er startbetingelsen valgt . Passende løsning ${\mathbf {P}}(0)={\mathbf {I}}$ ${\mathbf {P}}(t)=\exp({\mathbf {Q}}t).$

Egenskaber for matricerne P og Q

For enhver matrix har følgende egenskaber: $t>0$ ${\mathbf {P}}(t)$

Matrixelementer er ikke-negative: (ikke-negativitet af sandsynligheder). ${\mathbf {P}}(t)$ $P_{{ij}}(t)\geqslant 0$
Summen af elementerne i hver række er 1: (fuld sandsynlighed), det vil sige, at matrixen er højre-stokastisk (eller rækkevis). ${\mathbf {P}}(t)$ $\sum _{j}P_{{ij}}(t)=1$ ${\mathbf {P}}(t)$
Alle matrix egenværdier overstiger ikke 1 i absolut værdi : . Hvis , så . $\lambda$ ${\mathbf {P}}(t)$ $|\lambda |\leqslant 1$ $|\lambda |=1$ $\lambda=1$
Matrix-egenværdien svarer til mindst én ikke-negativ venstre egenvektor - række (ligevægt): . $\lambda=1$ ${\mathbf {P}}(t)$ $(p_{1}^{*},\,p_{2}^{*},...);$ $p_{i}^{*}\geqslant 0;$ $\sum _{i}p_{i}^{*}=1;$ $\sum _{i}p_{i}^{*}P_{{ij}}(t)=p_{j}^{*}$
For en egenværdi af en matrix er alle rodvektorer egenvektorer, det vil sige, at de tilsvarende Jordan-celler er trivielle. $\lambda=1$ ${\mathbf {P}}(t)$

Matrixen har følgende egenskaber: ${\mathbf {Q}}$

Off- diagonale matrixelementer er ikke-negative: . ${\mathbf {Q}}$ $q_{{ij}}\geqslant 0\;i\neq j$
Diagonale matrixelementer er ikke -positive: . ${\mathbf {Q}}$ $q_{{ii}}\leqslant 0$
Summen af elementerne i hver række er 0: ${\mathbf {Q}}$ $\sum _{j}q_{{ij}}=0.$
Den reelle del af alle matrixegenværdier er ikke -positiv: . Hvis , så $\mu$ ${\mathbf {Q}}$ $Re(\mu )\leqslant 0$ $Re(\mu)=0$ $\mu=0.$
Matrix-egenværdien svarer til mindst én ikke-negativ egenvektor i venstre række (ligevægt): $\mu=0$ ${\mathbf {Q}}$ $(p_{1}^{*},\,p_{2}^{*},...);$ $p_{i}^{*}\geqslant 0;$ $\sum _{i}p_{i}^{*}=1;$ $\sum _{i}p_{i}^{*}q_{{ij}}=0.$
For en egenværdi af en matrix er alle rodvektorer egenvektorer, det vil sige, at de tilsvarende Jordan-celler er trivielle. $\mu=0$ ${\mathbf {Q}}$

Overgangsgraf, tilslutningsmuligheder og ergodiske Markov-kæder

For en Markov-kæde med kontinuerlig tid er en rettet overgangsgraf (kort sagt en overgangsgraf) konstrueret efter følgende regler:

Sættet af grafens hjørnepunkter falder sammen med sættet af kædetilstande.
Hjørnerne er forbundet med en orienteret kant , hvis (det vil sige intensiteten af flowet fra -th tilstand til -th er positiv). $i,j\,(i\neq j)$ $jeg til j$ $q_{{ij}}>0$ $jeg$ $j$

De topologiske egenskaber af overgangsgrafen er relateret til matrixens spektrale egenskaber . Især gælder følgende sætninger for endelige Markov-kæder: ${\mathbf {Q}}$

De følgende tre egenskaber A, B, C af en endelig Markov-kæde er ækvivalente (kæder, der besidder dem, kaldes nogle gange svagt ergodiske ):

A. For hvilke som helst to forskellige hjørner af overgangsgrafen er der et sådant toppunkt på grafen ("common drain"), at der er orienterede stier fra toppunkt til toppunkt og fra toppunkt til toppunkt . Bemærk : mulig tilfælde eller ; i dette tilfælde betragtes en triviel (tom) vej fra til eller fra til også som en rettet vej.

i,j\,(i\neq j)

k

jeg

k

j

k

k=i

k=j

jeg

jeg

j

j

B. En nul egenværdi af en matrix er ikke degenereret.

{\mathbf {Q}}

C. At , matricen tenderer til en matrix, hvor alle rækker falder sammen (og falder naturligvis sammen med ligevægtsfordelingen).

t\to\infty

{\mathbf {P}}(t)

De følgende fem egenskaber A, B, C, D, D af en endelig Markov-kæde er ækvivalente (kæder, der besidder dem, kaldes ergodiske ):

A. Overgangsgrafen for en kæde er retningsmæssigt forbundet. B. En matrixs nulegenværdi er ikke degenereret og svarer til en strengt positiv venstre egenvektor (ligevægtsfordeling).

{\mathbf {Q}}

B. For nogle er matrixen strengt taget positiv (det vil sige for alle ).

t>0

{\mathbf {P}}(t)

P_{{ij}}(t)>0

i,j

D. For alle er matrixen strengt taget positiv.

t>0

{\mathbf {P}}(t)

E. For , matricen har tendens til en strengt positiv matrix, hvor alle rækker falder sammen (og naturligvis falder sammen med ligevægtsfordelingen).

t\to\infty

{\mathbf {P}}(t)

Eksempler

Overvej tre-stats Markov-kæder med kontinuerlig tid, svarende til overgangsgraferne vist i fig. I tilfælde (a) er kun de følgende off-diagonale elementer i intensitetsmatrixen ikke-nul , i tilfælde (b) er kun ikke-nul , og i tilfælde (c) er de . De resterende elementer bestemmes af matrixens egenskaber (summen af elementerne i hver række er 0). Som et resultat, for graferne (a), (b), (c) ser intensitetsmatricerne ud som: $q_{{12}},\,q_{{13}}$ $q_{{12}},\,q_{{31}}\,q_{{32}}$ $q_{{12}},\,q_{{31}}\,q_{{23}}$ ${\mathbf {Q}}$ ${\mathbf {Q}}_{a}={\begin{pmatrix}-(q_{{12}}+q_{{13}})&q_{{12}}&q_{{13}}\\0&0&0\ \0&0&0\end{pmatrix}},$ ${\mathbf {Q}}_{b}={\begin{pmatrix}-q_{{12}}&q_{{12}}&0\\0&0&0\\q_{{31}}&q_{{32}}& -(q_{{31}}+q_{{32}})\end{pmatrix}},$ ${\mathbf {Q}}_{c}={\begin{pmatrix}-q_{{12}}&q_{{12}}&0\\0&-q_{{23}}&q_{{23}}\\ q_{{31}}&0&-q_{{31}}\end{pmatrix}},$

Grundlæggende kinetisk ligning

Den grundlæggende kinetiske ligning beskriver udviklingen af sandsynlighedsfordelingen i en Markov-kæde med kontinuerlig tid. "Basic equation" her er ikke et epitet, men en oversættelse af det engelske udtryk. master ligning . For rækkevektoren af sandsynlighedsfordelingen har den grundlæggende kinetiske ligning formen: $\pi$

{\frac {d\pi }{dt}}=\pi {\mathbf {Q}}

og falder i det væsentlige sammen med den direkte Kolmogorov-ligning . I den fysiske litteratur bruges kolonnevektorer af sandsynligheder oftere, og den grundlæggende kinetiske ligning er skrevet i en form, der eksplicit bruger loven om bevarelse af total sandsynlighed:

{\frac {dp_{i}}{dt}}=\sum _{{j,\,j\neq i}}(T_{{ij}}p_{j}-T_{{ji}}p_{i }),

hvor $T_{{ij}}=q_{{ji}}.$

Hvis der er en positiv ligevægt for den grundlæggende kinetiske ligning , så kan den skrives på formen $p_{i}^{*}>0$

{\frac {dp_{i}}{dt}}=\sum _{{j,\,j\neq i}}T_{{ij}}p_{j}^{*}\left({\frac { p_{j}}{p_{j}^{*}}}-{\frac {p_{i}}{p_{i}^{*}}}\right).

Lyapunov fungerer for den grundlæggende kinetiske ligning

For den kinetiske hovedligning er der en rig familie af konvekse Lyapunov -funktioner - sandsynlighedsfordelingsfunktioner, der ændrer sig monotont med tiden. Lade være en konveks funktion af en variabel. For enhver positiv sandsynlighedsfordeling ( ) definerer vi Morimoto-funktionen : $h(x)\,(x>0)$ $p_{i}>0$ $H_{h}(p)$

H_{h}(p)=\sum _{i}p_{i}^{*}h\venstre({\frac {p_{i}}{p_{i}^{*}}}\right)

Den tidsafledede, hvis den opfylder den grundlæggende kinetiske ligning, er $H_{h}(p)$ $p(t)$

{\frac {dH_{h}(p(t))}{dt}}=\sum _{{i,j\,i\neq j}}T_{{ij}}p_{j}^{*} \left[h\left({\frac {p_{i}}{p_{i}^{*}}}\right)-h\left({\frac {p_{j}}{p_{j}^ {*}}}\right)+h'\left({\frac {p_{i}}{p_{i}^{*}}}\right)\left({\frac {p_{j}}{ p_{j}^{*}}}-{\frac {p_{i}}{p_{i}^{*}}}\right)\right]\leqslant 0

Den sidste ulighed er gyldig på grund af konveksitet . $h(x)$

Eksempler på Morimotos funktioner

H_{h}(p)

$h(x)=|x-1|$ , ; $H_{h}(p)=\sum _{i}|p_{i}-p_{i}^{*}|$

denne funktion er afstanden fra den aktuelle sandsynlighedsfordeling til ligevægtsin - normen . Tidsforskydning er en sammentrækning af rummet af sandsynlighedsfordelinger i denne norm. (For egenskaberne ved kontraktioner, se papiret Banach's Fixed Point Theorem .)

l_{1}

$h(x)=x\ln x$ , ; $H_{h}(p)=\sum _{i}p_{i}\ln \left({\frac {p_{i}}{p_{i}^{*}}}\right)$

denne funktion er (minus) Kullback- entropien (se Kullback-Leibler distance ). I fysik svarer det til den frie energi divideret med (hvor er Boltzmann-konstanten , er den absolutte temperatur ):

kT

k

T

if ( Boltzmann distribution ) så

p_{i}^{*}=\exp(\mu _{0}-U_{i}/kT)

H_{h}(p)=\sum _{i}p_{i}\ln p_{i}+\sum _{i}p_{i}U_{i}/kT-\mu _{0}=( \langle U\rangle -TS)/kT

$h(x)=-\ln x$ , ; $H_{h}(p)=-\sum _{i}p_{i}^{*}\ln \left({\frac {p_{i}}{p_{i}^{*}}}\right )$

denne funktion er den frie energianalog af Burg-entropien, som er meget brugt i signalbehandling:

S_{{{\rm {Burg}}}}=\sum _{i}\ln p_{i}

$h(x)={\frac {(x-1)^{2}}{2}}$ , ; $H_{h}(p)=\sum _{i}{\frac {(p_{i}-p_{i}^{*})^{2}}{2p_{i}^{*}}}$

dette er en kvadratisk tilnærmelse for (minus) Kullback-entropien nær ligevægtspunktet. Op til et tidskonstant led er denne funktion den samme som (minus) Fisher-entropien givet ved følgende valg,

$h(x)={\frac {x^{2}}{2}}$ , ; $H_{h}(p)=\sum _{i}{\frac {p_{i}^{2}}{2p_{i}^{*}}}$

dette er (minus) Fisher-entropien .

$h(x)={\frac {x^{q}-1}{q-1)),\,q>0,\,q\neq 1$ , ; $H_{h}(p)={\frac {1}{q-1}}\venstre[\sum _{i}p_{i}^{*}\left({\frac {p_{i}}{ p_{i}^{*}}}\right)^{q}-1\right]$

dette er en af analogerne til fri energi for Tsallis entropi .

S_{{q{{\rm {Tsallis}}}}}(p)={1 \over q-1}\venstre(1-\sum _{i}p_{i}^{q}\right).

tjener som grundlag for den statistiske fysik af ikke-ekstensive mængder. Ved , tenderer den til den klassiske Boltzmann-Gibbs-Shannon-entropi, og den tilsvarende Morimoto-funktion har tendens til (minus) Kullback-entropien.

q\til 1

Praktisk anvendelse

En af de første videnskabelige discipliner, hvor Markov-kæder fandt praktisk anvendelse, var lingvistik (især tekstkritik ). Markov selv, for at illustrere sine resultater, studerede afhængigheden af vekslen mellem vokaler og konsonanter i de første kapitler af " Eugene Onegin " og " Bagrov-barnebarns barndomsår " [3] .

Noter

↑ "Markov-kæden | Definition af Markov-kæden på amerikansk engelsk af Oxford Dictionaries" . Oxford Ordbøger | Engelsk. . Lexico Ordbøger | Engelsk (14. december 2017). Hentet: 1. april 2020.
↑ Gagniuc, Paul A. Markov Chains: From Theory to Implementation and Experimentation . - USA, NJ: John Wiley & Sons , 2017. - S. 2-8. — ISBN 978-1-119-38755-8 .
↑ Maistrov, L.E. Udvikling af begrebet sandsynlighed . - Nauka, 1980. - S. 188. - 269 s.

Litteratur

Kelbert M. Ya., Sukhov Yu. M. Sandsynlighed og statistik i eksempler og problemer. Vol. II: Markov-kæder som udgangspunkt for teorien om tilfældige processer og deres anvendelser. - M. : MTSNMO, 2010. - 295 s. — ISBN 978-5-94057-252-7 .
Markov A. A. , Udvidelse af loven om store tal til mængder, der afhænger af hinanden. - Nyheder om Fysik og Matematik Society ved Kazan University. - 2. serie. - Bind 15. (1906) - S. 135-156.
Markov-kæden / A. V. Prokhorov // Great Russian Encyclopedia : [i 35 bind] / kap. udg. Yu. S. Osipov . - M . : Great Russian Encyclopedia, 2004-2017.
Kemeny JG, Snell JL , Finite Markov-kæder. — Universitetsrækken i bachelor-matematik. Princeton: Van Nostrand, 1960
- Oversættelse: Kemeny J.J. , Snell J.L. Finite Markov-kæder. — M.: Nauka. 1970. - 272 s.
Zhong Kai-lai Homogene Markov-kæder. Overs. fra engelsk. — M.: Mir, 1964. — 425 s.
E. Nummelin , Generelle irreducible Markov-kæder og ikke-negative operatører. — M.: Mir, 1989. — 207 s.
Morimoto T. , Markov processer og H-sætningen. — J. Phys. soc. Jap. 12 (1963), 328-331.
Yaglom A.M. , Yaglom I.M. , Sandsynlighed og information . - M., Nauka, 1973. - 512 s.
Kullback S. , Informationsteori og statistik. Wiley, New York, 1959.
Burg JP , Forholdet mellem maksimale entropispektre og maksimale sandsynlighedsspektre, Geophysics 37(2) (1972), 375-376.
Tsallis C. , Mulig generalisering af Boltzmann-Gibbs statistik. J. Stat. Phys. 52 (1988), 479-487.
Rudoy Yu. G. , Generaliseret informationsentropi og ikke-kanonisk fordeling i ligevægtsstatistisk mekanik , TMF, 135:1 (2003), 3-54.
Gorban, Alexander N.; Gorban, Pavel A.; Dommer, George. Entropi: The Markov Ordering Approach . Entropi 12, nr. 5 (2010), 1145-1193.

Links

solid minus. Udvikling af en klasse til at arbejde med Markov-kæder . Habrahabr (1. juni 2016). Hentet: 18. august 2016. (Russisk)

Ordbøger og encyklopædier	stor kinesisk Fantastisk norsk Stor russer Britannica (online) Moderne Ukraine Moderne Ukraine
I bibliografiske kataloger	GND : 4037612-6 J9U : 987007553386405171 LCCN : sh85081369

Klassificering af stater og Markov-kæder
Stat	aperiodisk returneres opnåelige uigenkaldelig ubetydelig nul periodisk positiv kommunikerer væsentlig
Lænke	aperiodisk returneres uigenkaldelig uopløselige nul tidsskrift positiv nedbrydeligt ergodisk

Typer af kunstige neurale netværk

Feed-forward-netværk ( Netværk af radiale basisfunktioner )
Enkeltlags perceptron
Flerlagsperceptron ( Rosenblatt • Rumelhart )
Hopfield netværk
Markov kæde
Boltzmann maskine
Begrænset Boltzmann-maskine
Autoencoder ( Denoise autoencoder • Sparse autoencoder • Variationel autoencoder )
Dybt net af tillid
Konvolutionelt neuralt netværk
Deep Convolutional Neural Network
Udrulning af neuralt netværk
Deep Convolutional Inverse Graphic Network
Generativt modstridende netværk
Tilbagevendende neurale netværk
Rekursive neurale netværk
lang korttidshukommelse
Kontrolleret tilbagevendende blokering
Neurale Turing-maskiner
Tovejsnetværk ( Bidirektionalt tilbagevendende neuralt netværk • Tovejsnetværk med langtidshukommelse • Tovejskontrollerede tilbagevendende neuroner )
Deep Residual Network
Neural ekko netværk
Ekstrem læringsmetode
Metode til ustabile tilstande
Support vektor maskine
Kohonen netværk
Selvorganiserende kort over Kohonen
Kapsel neuralt netværk
Associativ hukommelse på neurale netværk

Machine learning og data mining
Opgaver	Klassificeringsproblem Læring uden lærer Lærerassisteret læring Regressions analyse AutoML Foreningens regler Feature Extraction Træning af træk Ranking træning Grammatisk afledning Online læring
At lære med en lærer	k-nærmeste nabo metode Naiv Bayes Classifier beslutningstræ Support vektor maskine Lineær regression Logistisk regression perceptron Ensembler af modeller Bagning boostning tilfældig skov Relevant vektormetode
klyngeanalyse	k-betyder metode Fuzzy klyngemetode Hierarkisk klyngedannelse EM algoritme BIRKE HELBREDE DBSCAN OPTIK Middel-forskydning
Dimensionalitetsreduktion	Faktoranalyse Hovedkomponentmetode CCA ICA LDA Ikke-negativ matrixudvidelse t-SNE
Strukturel prognose	Graf probabilistisk model Bayesiansk netværk Skjult Markov-model CRF
Anomali detektion	k-nærmeste nabo metode Lokalt emissionsniveau
Grafer sandsynlighedsmodeller	Bayesiansk netværk Markov netværk Skjult Markov-model
Neurale netværk	Begrænset Boltzmann-maskine selvorganiserende kort Aktiveringsfunktion Sigmoid softmax Radial basisfunktion Rygformeringsmetode Dyb læring Flerlagsperceptron Tilbagevendende neurale netværk lang korttidshukommelse Kontrolleret tilbagevendende blokering Konvolutionelt neuralt netværk U-net Autoencoder
Forstærkende læring	Markov proces Bellmans ligning Grådig algoritme Q-læring SARSA Temporal forskel (TD)
Teori	Vapnik-Chervonenkis teori Bias-Dispersion Dilemma Beregningsmæssig læringsteori Empirisk risikominimering Occams læring PAC læring Statistisk læringsteori
Tidsskrifter og konferencer	NeurIPS ICML ML JMLR ArXiv:cs.LG

Markov kæde

Diskret-tids Markov kæde

Definition

Overgangsmatrix og homogene kæder

Finit-dimensionelle fordelinger og n-trins overgangsmatrix

Tilstandstyper

Eksempler

Markov-kæde med kontinuerlig tid

Definition

Matrixen af ​​overgangsfunktioner og Kolmogorov-Chapman-ligningen

Intensitetsmatrixen og Kolmogorovs differentialligninger

Egenskaber for matricerne P og Q

Overgangsgraf, tilslutningsmuligheder og ergodiske Markov-kæder

Eksempler

Grundlæggende kinetisk ligning

Lyapunov fungerer for den grundlæggende kinetiske ligning

Praktisk anvendelse

Noter

Litteratur

Links

Matrixen af overgangsfunktioner og Kolmogorov-Chapman-ligningen