Maksimal sandsynlighed metode

Den aktuelle version af siden er endnu ikke blevet gennemgået af erfarne bidragydere og kan afvige væsentligt fra den version , der blev gennemgået den 19. januar 2021; checks kræver 4 redigeringer .

Maximum likelihood - metoden eller maximum likelihood-metoden (MMP, ML, MLE - English m aximum l ikelihood e stimation ) i matematisk statistik er en metode til at estimere en ukendt parameter ved at maksimere sandsynlighedsfunktionen [1] . Baseret på den antagelse, at al information om en statistisk stikprøve er indeholdt i sandsynlighedsfunktionen.

Maximal likelihood-metoden blev analyseret, anbefalet og i høj grad populariseret af R. Fischer mellem 1912 og 1922 (selvom den tidligere var blevet brugt af Gauss , Laplace og andre).

Maksimal sandsynlighed estimering er en populær statistisk teknik, der bruges til at skabe en statistisk model ud fra dataene og give et estimat af modelparametrene.

Maximal likelihood-metoden svarer til mange velkendte estimeringsmetoder inden for statistik. For eksempel er du interesseret i en sådan antropometrisk parameter som højden af indbyggerne i Rusland. Antag, at du har data om væksten af et bestemt antal mennesker, ikke hele befolkningen. Derudover antages væksten at være en normalfordelt størrelse med ukendt varians og middelværdi . Middelværdien og variansen af væksten i prøven er maksimal sandsynlighed for gennemsnittet og variansen for hele populationen.

For et fast datasæt og en grundlæggende probabilistisk model, ved hjælp af maksimumsandsynlighedsmetoden, vil vi opnå værdierne af modelparametrene, der gør dataene "tættere" på den virkelige. Maksimal sandsynlighedsestimation giver en unik og nem måde at bestemme løsninger i tilfælde af en normalfordeling.

Metoden til estimering af maksimal sandsynlighed anvendes på en lang række statistiske modeller, herunder:

lineære modeller og generaliserede lineære modeller;
faktoranalyse ;
modellering af strukturelle ligninger;
mange situationer, under hypotesetestning og konfidensintervaldannelse;
valgbare diskrete modeller.

Essensen af metode

Lad der være en prøve fra fordelingen , hvor er de ukendte parametre. Lad være sandsynligheden funktion , hvor . Point Estimation $X_{1},\ldots ,X_{n}$ $\mathbb {P} _{\theta }$ $\theta \i \Theta$ $L({\mathbf {x}}\midt \theta )\colon \Theta \to {\mathbb {R}}$ ${\mathbf {x}}\in {\mathbb {R}}^{n}$

{\hat {\theta }}_{\mathrm {M\Pi} }={\hat {\theta }}_{\mathrm {M\Pi} }(X_{1},\ldots,X_ {n})=\mathop {\rm {argmax)) \limits _{\theta \in \Theta }L(X_{1},\ldots ,X_{n}\mid \theta )

kaldes det maksimale sandsynlighedsestimat for parameteren . Det maksimale sandsynlighedsestimat er således det, der maksimerer sandsynlighedsfunktionen for en fast prøveudtagningsimplementering. $\theta$

Ofte bruges log-likelihood- funktionen i stedet for likelihood-funktionen . Da funktionen er monotont stigende over hele definitionsdomænet, er maksimum af enhver funktion funktionens maksimum og omvendt. På denne måde $L$ $l=\ln L$ $x\til \ln x,\;x>0$ $L(\theta)$ $\ln L(\theta )$

{\hat {\theta }}_{\mathrm {M\Pi} }=\mathop {\rm {argmax}} \limits _{\theta \in \Theta }l(X_{1},\ ldots ,X_{n}\midt \theta )

Hvis sandsynlighedsfunktionen er differentierbar, er den nødvendige betingelse for ekstremum ligheden af dens gradient til nul :

g(\theta )={\frac {\partial l({\mathbf {x)),\theta _{0})}{\partial \theta }}=0

Den tilstrækkelige ekstremum tilstand kan formuleres som den negative bestemthed af hessiske , matrixen af anden afledte:

H={\frac {\partial ^{2}l({\mathbf {x)),\theta _{0})}{\partial \theta \partial \theta ^{T))}

Vigtigt for vurderingen af egenskaberne ved estimater af maksimumsandsynlighedsmetoden er den såkaldte informationsmatrix , der er ens per definition:

I(\theta )=E[g(\theta )g(\theta )^{T}]

På det optimale tidspunkt falder informationsmatrixen sammen med forventningen til Hessian, taget med et minustegn:

I=-E(H_{0})

Egenskaber

Estimatorer af maksimal sandsynlighed kan generelt være forudindtaget (se eksempler), men er konsistente , asymptotisk effektive og asymptotisk normale estimatorer. Asymptotisk normalitet betyder det

{\sqrt {n}}({\hat {\theta }}-\theta ){\xrightarrow d}N(0,{\boldsymbol {I}}_({\infty }}^{{-1}} )

hvor er den asymptotiske informationsmatrix. ${\boldsymbol {I}}_{{\infty }}=-\lim _{{n\rightarrow \infty }}{\frac {1}{n}}{\mathbb {E}}({\boldsymbol { H))$

Asymptotisk effektivitet betyder, at den asymptotiske kovariansmatrix er den nedre grænse for alle konsistente asymptotisk normale estimatorer. ${\boldsymbol {I}}_{{\infty }}^{{-1}}$

Hvis er det maksimale sandsynlighedsestimat, parametre , så er det maksimale sandsynlighedsestimat for , hvor g er en kontinuerlig funktion (funktionel invarians). Datadistributionslove kan således parameteriseres på forskellige måder. ${\hat {\theta ))$ $\theta$ $g({\hat {\theta )))$ $g(\theta)$
En nødvendig betingelse for MP-vurderinger er også implementeringen af et system med formen: $\left\{{\begin{matrix}{\frac {\partial }{\partial \theta _{1))}\ln {L_{n))\left({\vec {x)), {\vec {\theta }}\right)&=&0\\\cdots &\cdots &\\{\frac {\partial }{\partial \theta _{k}}}\ln {L_{n}} \left({\vec {x)),{\vec {\theta }}\right)&=&0\\\end{matrix}}\right.$

hvor er sandsynlighedsfunktionen af stikprøvestørrelsen

L_{n}\left({\vec {x)),{\vec {\theta }}\right)=\prod _{i=1}^{n}L_{1}\left(x_ {i},{\vec {\theta }}\right)

{\vec {x}}

n

Eksempler

Lade være en uafhængig prøve fra en kontinuerlig ensartet fordeling på intervallet , hvor er en ukendt parameter. Så har sandsynlighedsfunktionen formen $X_{1},\ldots ,X_{n}\sim {\mathrm {U}}[0,\theta ]$ $[0,\theta ]$ $\theta >0$

f({\mathbf {x}}\mid \theta )={\begin{cases}{\frac {1}{\theta ^{n}}},&{\mathbf {x}}\i [0, \theta ]^{n}\delsæt {\mathbb {R}}^{n}\\0,&{\mathbf {x}}\ikke \i [0,\theta ]^{n}\end{tilfælde }}.

Den sidste ligestilling kan omskrives som:

f({\mathbf {x}}\mid \theta )={\begin{cases}{\frac {1}{\theta ^{n}}},&\theta \geq \max(x_{1}, \ldots ,x_{n})\\0,&\theta <\max(x_{1},\ldots ,x_{n})\end{cases}},

hvor , som viser at sandsynlighedsfunktionen når sit maksimum ved punktet . På denne måde ${\mathbf {x}}=(x_{1},\ldots ,x_{n})^{{\top }}$ $\theta =\max(x_{1},\ldots,x_{n})$

{\hat {\theta }}_{({\mathrm {M\Pi }}}}=\max(X_{1},\ldots,X_{n})

Et sådant skøn vil være partisk: , hvorfra $P\{\max(X_{1},\ldots,X_{n})\leq x\}=\venstre({\frac {x}{\theta }}\right)^{n}$ $E{\hat {\theta }}_{({\mathrm {M\Pi }}}}=\int _{0}^{\theta}xd\left({\frac {x}{\theta }} \right)^{n}={\frac {n}{n+1}}\theta$

Lade være en uafhængig prøve fra en normalfordeling med ukendt middelværdi og varians . Lad os konstruere et maksimum sandsynlighedsestimat for en ukendt vektor af parametre . Log-sandsynlighedsfunktionen har formen $X_{1},\ldots ,X_{n}\sim \mathrm {N} (\mu ,\sigma ^{2})$ $\left(\widehat {\mu }_{({\mathrm {M\Pi }}}},\widehat {\sigma ^{2}}_{({\mathrm {M\Pi }}}}\right )^{{{\rm {T))))$ $\left(\mu ,\sigma ^{2}\right)^{{{\rm {T)))))$

L({\mathbf {x}}\midt \mu ,\sigma ^{2})=-{\frac {n}{2}}\ln(2\pi \sigma ^{2})-{\frac {1}{2\sigma ^{2}}}\sum \limits _{{i=1}}^{n}(X_{i}-\mu )^{2}

For at finde dets maksimum, sætter vi lighedstegn mellem de partielle afledte værdier til nul :

\left\{{\begin{matrix}\displaystyle {\frac {\partial }{\partial \mu }}L({\mathbf {x}}\mid \mu ,\sigma ^{2})=0\ \[10pt]\displaystyle {\frac {\partial }{\partial \sigma ^{2))}L({\mathbf {x))\mid \mu ,\sigma ^{2})=0\\\ end{matrix}}\right.\Rightarrow \left\{{\begin{matrix}\displaystyle {\frac {\sum \limits _{{i=1}}^{n}X_{i}-n\mu }{\sigma ^{2}}}=0\\[10pt]\displaystyle -{\frac {n}{2\sigma ^{2}}}+{\frac {\sum \limits _{{i= 1}}^{n}(X_{i}-\mu )^{2}}{2\left(\sigma ^{2}\right)^{2}}}=0\\\end{matrix} }\ret.,

hvor

{\hat {\mu }}_{\mathrm {M\Pi } }={\overline {X}}

er prøvegennemsnittet , og

\widehat {\sigma ^{2}}_{{{\mathrm {M\Pi }}}}=S_{n}^{2}

er prøvevariansen .

Anvendelsesmetode [2]

Behandler eksperimentet

Antag, at vi måler en mængde . Efter at have foretaget en måling, fik vi dens værdi med en fejl : . Lad os skrive sandsynligheden for, at værdien tager værdien : ${\textstyle a}$ ${\tekststil x_{1))$ ${\tekststil \sigma _{1}}$ ${\tekststil x_{1}\pm \sigma _{1))$ ${\textstyle a}$ ${\tekststil x_{1))$

$W(a)={\frac {1}{\sqrt {2\pi \sigma _{1}^{2))))\exp \left[-{\frac {(x_{1}- a)^{2}}{2\sigma _{1}^{2}}}\right]$ .

Antag nu, at vi har taget flere sådanne målinger og opnået . Sandsynligheden for, at mængden vil antage værdierne vil være: ${\tekststil x_{1}\pm \sigma _{1},x_{2}\pm \sigma _{2}\ldots x_{n}\pm \sigma _{n))$ ${\textstyle a}$ ${\textstyle x_{1},x_{2}\ldots x_{n))$

$W(a)=\prod _{i=1}^{n}({\frac {1}{\sqrt {2\pi \sigma _{i}^{2))))\exp \ venstre[-{\frac {(x_{i}-a)^{2}}{2\sigma _{i}^{2}}}\right]}$ .

Denne funktion kaldes sandsynlighedsfunktionen. Den mest sandsynlige værdi af den målte værdi bestemmes af maksimum af sandsynlighedsfunktionen. Mere praktisk er log-sandsynlighedsfunktionen: ${\textstyle a^{*}}$

$L(a)=\ln W(a)=-\sum _{i=1}^{n}{\frac {(x_{i}-a)^{2}}{2\sigma _ {i}^{2}}}+\sum _{i=1}^{n}{\ln {\frac {1}{\sqrt {2\pi \sigma _{i}^{2}}} }}$ .

Differentier log-sandsynlighedsfunktionen med hensyn til : ${\textstyle a}$

${\frac {\partial {L}}{\partial {a}}}=\sum _{{i=1}}^{n}{{\frac {x_{i}-a}{\sigma _{ i}^{2}}}}$ .

Lige til og få noget værdi : ${\frac {\partial {L}}{\partial {a}}}$ ${\textstyle 0}$ ${\textstyle a=a^{*}}$

$a^{*}={\frac {\sum \limits _{{i=1}}^{{n}}{{\frac {x_{i}}{\sigma _{i}^{2}} ))}{\sum \limits _{{i=1}}^{{n}}{{\frac {1}{\sigma _{i}^{2}}}}}}$ .

Cramer formulerede følgende sætning:

Sætning: Der er ingen anden metode til at behandle resultaterne af et eksperiment, der ville give en bedre tilnærmelse til sandheden end den maksimale sandsynlighedsmetode.

Målefejl

Antag, at vi har taget en række målinger og opnået en række værdier , er det naturligt at skrive, at denne fordeling vil have en Gaussisk form : ${\textstyle a^{*}}$

$W(a)={\frac {1}{{\sqrt {2\pi \sigma _{{a^{*))}^{2))))}\exp \left[-{\frac {( a^{*}-a)^{2}}{2\sigma _{{a^{*}}}^{2}}}\right]$ .

Lad os skrive den logaritmiske sandsynlighedsfunktion: . $L(a)=\ln W(a)=-{{\frac {(a^{*}-a)^{2}}{2\sigma _{{a^{*}}}^{2} ))}+{\ln {{\frac {1}{{\sqrt {2\pi \sigma _{{a^{*}}}^{2}}}}}}}$

Lad os tage den første afledte:

${\frac {\partial {L}}{\partial {a}}}={\frac {a^{*}-a}{\sigma _{{a^{*}}}^{2}}}$ .

Hvis , så . Tag nu den anden afledede: ${\frac {\partial {L}}{\partial {a}}}=0$ $a=a^{*}$

${\frac {\partial ^{2}{L}}{\partial {a}^{2}}}=-{\frac {1}{\sigma _{a^{*}}^{ 2}}}$ , hvor

$\sigma _{a^{*}}=\left(-{\frac {\partial ^{2}{L}}{\partial {a}^{2}}}{\Big |}_ {a=a^{*}}\right)^{-1/2}$ .

Dette kaldes den første magiske formel [2] .

Betinget maksimum sandsynlighed metode

Den betingede maximum likelihood-metode (Conditional ML) bruges i regressionsmodeller. Essensen af metoden er, at der ikke bruges den fulde fælles fordeling af alle variabler (afhængige og regressorer), men kun den betingede fordeling af den afhængige variabel efter faktorer, det vil sige fordelingen af tilfældige fejl i regressionsmodellen . Den totale sandsynlighedsfunktion er produktet af den "betingede sandsynlighedsfunktion" og fordelingstætheden af faktorerne. Den betingede MMP svarer til den fulde version af MMP i det tilfælde, hvor fordelingen af faktorer ikke på nogen måde afhænger af de estimerede parametre. Denne betingelse er ofte overtrådt i tidsseriemodeller, såsom den autoregressive model . I dette tilfælde er regressorerne de tidligere værdier af den afhængige variabel, hvilket betyder, at deres værdier også adlyder den samme AR-model, det vil sige, at fordelingen af regressorerne afhænger af de estimerede parametre. I sådanne tilfælde vil resultaterne af anvendelsen af de betingede og fuld maksimale sandsynlighedsmetoder være forskellige.

Se også

Noter

↑ Fisher - 1912 Mathematical Encyclopedic Dictionary, Moskva: Soviet Encyclopedia, 1988.
↑ 1 2 A.P. Onuchin. Eksperimentelle metoder inden for kernefysik. - Novosibirsk: Novosibirsk State Technical University, 2010. - S. 297-303. — 336 s. — ISBN 978-5-7782-1232-9 .

Litteratur

Magnus Ya. R., Katyshev P. K., Peresetsky A. A. Econometrics. Indledende kursus. - M . : Delo, 2007. - 504 s. - ISBN 978-5-7749-0473-0 .
Ostapenko R. I. Fundamentals of strukturel modellering i psykologi og pædagogik: et læremiddel til studerende på det psykologiske og pædagogiske fakultet. - Voronezh.: VGPU, 2012. - 116 s. - ISBN 978-5-88519-886-8 .
Nikulin M. S. Kriterium for sandsynlighedsforhold // Mathematical Encyclopedia / Vinogradov I. M. (chefredaktør). - M .: Soviet Encyclopedia , 1984. - T. 4. - S. 151. - 1216 s.

Ordbøger og encyklopædier	stor kinesisk stor kinesisk stor kinesisk stor kinesisk stor kinesisk Stor russer