Marginal sandsynlighed

Marginal Likelihood Function eller integreret sandsynlighed er en sandsynlighedsfunktion , hvor nogle variable parametre er udelukket . I forbindelse med Bayesiansk statistik kan en funktion kaldes evidens eller modelbevis .

Koncept

Givet et sæt af uafhængige identisk fordelte datapunkter , hvor parameteren er i henhold til en eller anden sandsynlighedsfordeling med parameteren , hvor selve parameteren er en tilfældig variabel givet af fordelingen, dvs. Den marginale sandsynlighedsfunktion spørger generelt, hvad er sandsynligheden for hændelsen , hvor den er udelukket (ved at integrere over denne parameter): $\mathbb {X} =(x_{1},\ldots ,x_{n}),$ $x_{i}\sim p(x_{i}|\theta )$ $\theta$ $\theta$ $\theta \sim p(\theta |\alpha )$ $p(\mathbb {X} |\alpha )$ $\theta$

p(\mathbb {X} |\alpha )=\int _{\theta }p(\mathbb {X} |\theta )\,p(\theta |\alpha )\ \operatørnavn {d} \ !\theta

Ovenstående definition er formuleret i sammenhæng med Bayesiansk statistik . I klassisk ( frekvens ) statistik optræder begrebet marginal sandsynlighed i stedet i sammenhæng med den fælles parameter , hvor er den faktiske parameter og er den generende parameter . Hvis der er en sandsynlighedsfordeling for , er det ofte ønskeligt kun at overveje sandsynlighedsfunktionen i form af eliminering : $\theta =(\psi ,\lambda )$ $\psi$ $\lambda$ $\lambda$ $\psi$ $\lambda$

{\mathcal {L}}(\psi ;\mathbb {X} )=p(\mathbb {X} |\psi )=\int _{\lambda }p(\mathbb {X} |\lambda ,\psi )\,p(\lambda |\psi )\ \operatørnavn {d} \!\lambda

Desværre er marginale sandsynligheder generelt vanskelige at beregne. Nøjagtige løsninger er kendt for en lille klasse af distributioner, især når den udelukkede parameter er den konjugerede forudgående fordeling af datafordelingen. I andre tilfælde er der behov for en numerisk integrationsmetode , enten en generel integrationsmetode såsom Gauss -metoden eller Monte Carlo - metoden, eller en metode udviklet specifikt til statistiske problemer såsom Laplace-approksimation , Gibbs / Metropolis -sampling eller EM-algoritmen .

Det er også muligt at anvende ovenstående konventioner på en enkelt tilfældig variabel (datapunkt) x i stedet for på et sæt observationer. I forbindelse med Bayesiansk teori svarer dette til den forudsagte fordeling af et datapunkt.

Ansøgninger

Sammenligning af Bayesianske modeller

Når man sammenligner Bayesianske modeller, er de udelukkede variable parametre for en bestemt type model, og de resterende variable er karakteristika for modellen. I dette tilfælde er den marginale sandsynlighed sandsynligheden for dataene givet modeltypen uden at antage værdierne af nogen bestemte parametre. Den marginale sandsynlighedsfunktion for model M er

p(x|M)=\int p(x|\theta ,M)\,p(\theta |M)\,\operatørnavn {d} \!\theta

Det er i denne sammenhæng, at begrebet modelvaliditet er almindeligt anvendt . Denne værdi er vigtig, fordi forholdet mellem de posteriore odds for model M 1 og en anden model M 2 involverer forholdet mellem de marginale sandsynlighedsfunktioner, den såkaldte Bayes-koefficient :

{\frac {p(M_{1}|x)}{p(M_{2}|x)))={\frac {p(M_{1})}{p(M_{2}) }}\,{\frac {p(x|M_{1})}{p(x|M_{2})}}

som skematisk kan udtrykkes som

posterior odds = tidligere odds × Bayes-koefficient

Se også

Empirisk Bayes-metode
Privat distribution
Lindleys paradoks

Noter

Litteratur

Charles S. Bos. En sammenligning af marginal likelihood computation methods // COMPSTAT 2002: Proceedings in Computational Statistics / W. Härdle, B. Ronz. - 2002. - S. 111-117. (Bog tilgængelig som fortryk online: [1] Arkiveret 3. august 2020 på Wayback Machine )
David JC MacKay. Informationsteori, inferens og læringsalgoritmer . - Cambridge University Press, 2003. - ISBN 0521642981 .