Fisher Information

Den aktuelle version af siden er endnu ikke blevet gennemgået af erfarne bidragydere og kan afvige væsentligt fra den version , der blev gennemgået den 28. december 2019; checks kræver 9 redigeringer .

Fisher information er den matematiske forventning af kvadratet af den relative ændringshastighed i den betingede sandsynlighedstæthed [1] . Denne funktion er opkaldt efter Ronald Fisher , som beskrev den . $p(x|\theta )$

Definition

Lad være fordelingstætheden for den givne statistiske model . Så hvis funktionen er defineret $f(\theta,\;x_1,\prikker,\,x_n)$

I_{n}(\theta )=\mathbb {E} _{\theta}\left({\frac {\partial L(\theta,\;x_{1},\dots,\,x_{ n})}{\partial \theta }}\right)^{2},\;L=\sum _{i=1}^{n}\ln f(\theta,x_{i})

hvor er log -likelihood-funktionen , og er den matematiske forventning for givet , så kaldes det Fisher-informationen for en given statistisk model med uafhængige tests . $L(\theta,\;x_1,\prikker,\,x_n)$ ${\displaystyle \mathbb {E} _{\theta ))$ $x$ $\theta$ $n$

Hvis den er to gange differentierbar med hensyn til , og under visse regelmæssighedsbetingelser, kan Fisher-informationen omskrives som [2] $\ln f(x;\theta)$ $\theta$

I_n(\theta) = \mathbb{E}_\theta \left(\frac{\partial L(\theta,\;X)}{\partial \theta}\right)^2 = - \mathbb{E} _\theta \left(\frac{\partial^2 L(\theta,\;X)}{\partial \theta^2}\right)

For regulære mønstre: (Dette er definitionen af regularitet). $\mathbb {E} _{\theta }\left({\frac {\partial L(\theta ,\;x_{1},\dots ,\,x_{n})}{\partial \theta }}\right)=0$

I dette tilfælde, da forventningen til prøvebidragsfunktionen er nul, er den skrevne værdi lig med dens varians.

Fisher mængden af information indeholdt i en observation kaldes:

I_{i}(\theta )=\mathbb {E} _{\theta}\left({\frac {\partial \ln f(\theta ,\,x_{i})}{\partial \ theta }}\right)^{2}

For almindelige modeller er alle lige. $I_{i}(\theta )$

Hvis prøven består af ét element, skrives Fisher-informationen som følger:

I(\theta )=\mathbb {E} _{\theta }\left({\frac {\partial \ln f(\theta,\,x)}{\partial \theta }}\right) ^{2}

Fra betingelsen om regelmæssighed, såvel som af det faktum, at i tilfælde af uafhængighed af tilfældige variabler er variansen af summen lig med summen af varianserne, følger det, at for uafhængige tests . $n$ $I_{n}(\theta )=nI(\theta )$

Egenskaber

Det følger af ovenstående variansegenskab, at i tilfælde af uafhængighed af tilfældige variable (betragtet i en statistisk model), er Fisher-informationen af deres sum lig med summen af Fisher-informationen for hver af dem. $\xi _{1}(\theta ,\,x),\dots ,\,\xi _{n}(\theta ,\,x)$

Lagring af information med tilstrækkelig statistik

Generelt, hvis er stikprøvestatistikken X , så $T = t(X)$

I_T(\theta)\leq I_X(\theta)

Desuden opnås lighed, hvis og kun hvis T er en tilstrækkelig statistik .

En tilstrækkelig statistik indeholder lige så meget Fisher-information som hele stikprøven X . Dette kan vises ved hjælp af Neumann faktoriseringstesten for tilstrækkelig statistik. Hvis statistikken er tilstrækkelig for parameteren , så er der funktioner g og h , således at: $T(X)$ $\theta$

f(X;\theta )=g(T(X),\theta )h(X)

Ligestillingen af oplysninger følger af:

\frac{\partial}{\partial\theta} \ln \left[f(X ;\theta)\right] = \frac{\partial}{\partial\theta} \ln \left[g(T(X) );\theta)\right]

som følger af definitionen af Fisher-informationen og uafhængighed af . $h(X)$ $\theta$

Se også

Andre mål brugt i informationsteori :

Noter

↑ Leman, 1991 , s. 112.
↑ Lehmann, E.L. ; Casella, G. Theory of Point Estimation (neopr.) . — 2. udg. - Springer, 1998. - ISBN 0-387-98502-6 . , lign. (2.5.16).

Litteratur

Leman E. Teori om punktvurdering. — M .: Nauka, 1991. — 448 s. — ISBN 5-02-013941-6 .