Skjult Markov-model

Hidden Markov Model ( HMM ) er en statistisk model , der simulerer driften af en proces, der ligner en Markov-proces med ukendte parametre, og opgaven er at gætte de ukendte parametre ud fra de observerede. De opnåede parametre kan bruges i yderligere analyse, for eksempel til mønstergenkendelse. HMM kan betragtes som det enkleste Bayesianske trosnetværk .

De første noter om skjulte Markov-modeller blev udgivet af Baum i 1960'erne, og allerede i 70'erne blev de første gang brugt i talegenkendelse. Siden midten af 1980'erne er SMM'er blevet brugt til analyse af biologiske sekvenser, især DNA.

Hovedansøgningen af HMM blev modtaget inden for talegenkendelse, skrivning, bevægelser og bioinformatik. Derudover bruges HMM'er i kryptoanalyse , maskinoversættelse .

Eksempel

Lad os forestille os to venner, der hver aften diskuterer i telefonen, hvad de lavede i løbet af dagen. Din ven kan kun gøre tre ting: gå i parken, shoppe eller gøre værelset rent. Hans valg er kun baseret på det vejr, der var på tidspunktet for beslutningen. Du ved ikke noget om vejret i den region, hvor din ven bor, men du kan ud fra hans beslutninger prøve at gætte, hvordan vejret var.

Vejret er repræsenteret som en Markov-kæde, den har to tilstande: solrig eller regnfuld, men du kan ikke se det selv, så det er skjult for dig. Hver dag træffer din ven en af tre mulige beslutninger: gå, shoppe eller gøre rent. Du kan lære om din vens beslutning, så dette er en observerbar værdi. Generelt modtager vi SMM.

Struktur af en skjult Markov-model

I en konventionel Markov-model er tilstanden synlig for observatøren, så overgangssandsynlighederne er den eneste parameter. I en skjult Markov-model kan vi kun holde styr på de variable, der påvirkes af en given tilstand. Hver tilstand har en sandsynlighedsfordeling blandt alle mulige outputværdier. Derfor giver sekvensen af tegn genereret af HMM'en information om rækkefølgen af tilstande.

Diagrammet nedenfor viser den generelle struktur af HMM. Ovalerne repræsenterer variable med en tilfældig værdi. Den tilfældige variabel er værdien af den skjulte variabel på et tidspunkt . En tilfældig variabel er værdien af en observeret variabel på et tidspunkt . Pilene i diagrammet repræsenterer betingede afhængigheder. $x(t)$ $t$ $y(t)$ $t$

Det bliver tydeligt af diagrammet, at værdien af den skjulte variabel (på tidspunktet ) kun afhænger af værdien af den skjulte variabel (på tidspunktet ). Dette kaldes Markov-ejendommen. Selvom værdien af den observerede variabel på samme tid kun afhænger af værdien af den latente variabel (begge til tiden ). $x(t)$ $t$ $x(t-1)$ $t-1$ $y(t)$ $x(t)$ $t$

Sandsynligheden for at se en længdesekvens er $Y=y(0),y(1),\prikker,y(L-1)$ $L$

P(Y)=\sum _{{X}}P(Y\midt X)P(X),

her løber summen over alle mulige sekvenser af skjulte noder . Brute-force-beregningsmetoden er meget tidskrævende for mange problemer fra det virkelige liv på grund af, at antallet af mulige sekvenser af skjulte knudepunkter er meget stort. Men brugen af frem-tilbage- proceduren [1] kan øge beregningshastigheden betydeligt. $X=x(0),x(1),\dots ,x(L-1).$ $P(Y)$

Grundlæggende algoritmer

Der er tre hovedopgaver forbundet med SMM:

Frem-omvendt algoritme : givet parametrene for modellen og sekvensen, er det nødvendigt at beregne sandsynligheden for forekomsten af denne sekvens (giver dig mulighed for at løse problemet).
Viterbi-algoritme : givet modellens parametre er det nødvendigt at bestemme den mest passende sekvens af skjulte knudepunkter, der mest præcist beskriver den givne model (hjælper med at løse dette problem).
Baum-walisisk algoritme : givet en outputsekvens (eller flere) med diskrete værdier, er det nødvendigt at træne HMM'en på denne output.

Se også

Marelliers sætning

Noter

↑ Rabiner, s. 262

Links

Skjulte Markov-modeller
Sergei Nikolenko. Forelæsning nr. 6 og nr. 7 (slides) om skjulte Markov-modeller fra kurset Probabilistic Learning

Grafer sandsynlighedsmodeller
Bayesiansk netværk Kausalt Bayesian Network Markov netværk Skjult Markov-model

Machine learning og data mining
Opgaver	Klassificeringsproblem Læring uden lærer Lærerassisteret læring Regressions analyse AutoML Foreningens regler Feature Extraction Træning af træk Ranking træning Grammatisk afledning Online læring
At lære med en lærer	k-nærmeste nabo metode Naiv Bayes Classifier beslutningstræ Support vektor maskine Lineær regression Logistisk regression perceptron Ensembler af modeller Bagning boostning tilfældig skov Relevant vektormetode
klyngeanalyse	k-betyder metode Fuzzy klyngemetode Hierarkisk klyngedannelse EM algoritme BIRKE HELBREDE DBSCAN OPTIK Middel-forskydning
Dimensionalitetsreduktion	Faktoranalyse Hovedkomponentmetode CCA ICA LDA Ikke-negativ matrixudvidelse t-SNE
Strukturel prognose	Graf probabilistisk model Bayesiansk netværk Skjult Markov-model CRF
Anomali detektion	k-nærmeste nabo metode Lokalt emissionsniveau
Grafer sandsynlighedsmodeller	Bayesiansk netværk Markov netværk Skjult Markov-model
Neurale netværk	Begrænset Boltzmann-maskine selvorganiserende kort Aktiveringsfunktion Sigmoid softmax Radial basisfunktion Rygformeringsmetode Dyb læring Flerlagsperceptron Tilbagevendende neurale netværk lang korttidshukommelse Kontrolleret tilbagevendende blokering Konvolutionelt neuralt netværk U-net Autoencoder
Forstærkende læring	Markov proces Bellmans ligning Grådig algoritme Q-læring SARSA Temporal forskel (TD)
Teori	Vapnik-Chervonenkis teori Bias-Dispersion Dilemma Beregningsmæssig læringsteori Empirisk risikominimering Occams læring PAC læring Statistisk læringsteori
Tidsskrifter og konferencer	NeurIPS ICML ML JMLR ArXiv:cs.LG