Bayes' sætning

Den aktuelle version af siden er endnu ikke blevet gennemgået af erfarne bidragydere og kan afvige væsentligt fra den version , der blev gennemgået den 6. februar 2022; checks kræver 3 redigeringer .

Bayes' sætning (eller Bayes' formel ) er en af hovedsætningerne i elementær sandsynlighedsteori , som giver dig mulighed for at bestemme sandsynligheden for en hændelse, forudsat at en anden hændelse, der er statistisk afhængig af den, er indtruffet. Med andre ord er det ifølge Bayes-formlen muligt mere præcist at genberegne sandsynligheden under hensyntagen til både tidligere kendt information og data fra nye observationer. Bayes' formel kan udledes af sandsynlighedsteoriens grundlæggende aksiomer, især fra betinget sandsynlighed . Et træk ved Bayes-sætningen er, at dens praktiske anvendelse kræver et stort antal beregninger, beregninger, så Bayesianske estimater begyndte først at blive brugt aktivt efter revolutionen inden for computer- og netværksteknologier.

Da Bayes' sætning opstod, var de sandsynligheder, der blev brugt i sætningen, underlagt en række sandsynlighedsfortolkninger. En af disse fortolkninger sagde, at udledningen af formlen er direkte relateret til anvendelsen af en særlig tilgang til statistisk analyse. Hvis vi bruger den Bayesianske fortolkning af sandsynlighed , så viser sætningen, hvordan det personlige tillidsniveau kan ændre sig dramatisk på grund af antallet af hændelser, der har fundet sted. Dette er konklusionen fra Bayes, som blev grundlæggende for Bayesiansk statistik. Sætningen bruges dog ikke kun i Bayesiansk analyse, men bruges også aktivt til en lang række andre beregninger.

Psykologiske eksperimenter [1] har vist, at folk ofte fejlagtigt estimerer den reelle (matematisk korrekte) sandsynlighed for en begivenhed baseret på nogle erfaringer ( a posteriori sandsynlighed ), fordi de ignorerer selve sandsynligheden for en antagelse ( a priori sandsynlighed ). Derfor kan det korrekte resultat ifølge Bayes-formlen være meget anderledes end det intuitivt forventede.

Bayes' sætning er opkaldt efter dens forfatter, Thomas Bayes (1702-1761), en engelsk matematiker og præst, der først foreslog brugen af sætningen til at korrigere overbevisninger baseret på opdaterede data. Hans værk " An Essay to Solving a Problem in the Doctrine of Chances " blev første gang udgivet i 1763 [2] , 2 år efter forfatterens død. Før Bayes' posthume arbejde blev accepteret og læst i Royal Society, blev det i vid udstrækning redigeret og opdateret af Richard Price . Disse ideer blev dog ikke offentliggjort, før de blev genopdaget og udviklet af Pierre-Simon Laplace , som først udgav den moderne formulering af teoremet i sin bog fra 1812 The Analytic Theory of Probability.

Sir Harold Jeffreys skrev, at Bayes' sætning er "for sandsynlighedsteorien, hvad Pythagoras sætning er for geometri " [3] .

Ordlyd

Bayes formel :

P(A\midt B)={\frac {P(B\midt A)\,P(A)}{P(B)))

hvor

P(A)

— a priori sandsynlighed for hypotese A (se nedenfor for betydningen af en sådan terminologi);

P(A\mid B)

er sandsynligheden for hypotese A ved forekomsten af begivenhed B (a posteriori sandsynlighed);

P(B\mid A)

er sandsynligheden for at hændelsen B indtræffer, hvis hypotesen A er sand ;

P(B)

er den samlede sandsynlighed for at hændelsen B indtræffer .

Bevis

Bayes' formel følger af definitionen af betinget sandsynlighed . Sandsynligheden for en fælles begivenhed udtrykkes på to måder i form af betingede sandsynligheder $AB$

P(AB)=P(A\midt B)P(B)=P(B\midt A)P(A)

følgelig $P(A\midt B)={\frac {P(AB)}{P(B)))={\frac {P(B\midt A)\,P(A)}{P(B )}}$

Beregning af P(B)

I problemer og statistiske applikationer beregnes det normalt ved formlen for den samlede sandsynlighed for en begivenhed afhængig af flere inkonsistente hypoteser med en samlet sandsynlighed på 1. $P(B)$

P(B)=\sum _{i=1}^{N}P(B\mid A_{i})P(A_{i})

hvor sandsynligheden under sumtegnet er kendt eller kan estimeres eksperimentelt.

I dette tilfælde er Bayes-formlen skrevet som følger:

P(A_{j}\midt B)={\frac {P(B\midt A_{j})P(A_{j})}{\sum _{i=1}^{N}P (B\midt A_{i})P(A_{i})}}

"Fysisk betydning" og terminologi

Bayes' formel giver dig mulighed for at "omorganisere årsag og virkning": givet det kendte faktum af en begivenhed, beregne sandsynligheden for, at den var forårsaget af en given årsag. Samtidig er det nødvendigt at forstå, at for anvendelsen af teoremet er en årsagssammenhæng mellem og ikke obligatorisk. $EN$ $B$

Begivenheder, der afspejler handlingen af "årsager" i dette tilfælde kaldes hypoteser , da de er de påståede begivenheder, der forårsagede det givne. Den ubetingede sandsynlighed for hypotesens gyldighed kaldes a priori (hvor sandsynlig årsagen er generelt ), og den betingede, under hensyntagen til begivenhedens kendsgerning, kaldes a posteriori (hvor sandsynligt årsagen viste sig at være , under hensyntagen til data om begivenheden ).

Eksempler

Eksempel 1

Lad begivenheden - bilen starter ikke, og hypotesen - der er ingen brændstof i tanken. Det er klart, at sandsynligheden for, at bilen ikke starter, hvis der ikke er brændstof i tanken, er lig med én. Som en konsekvens heraf er den bageste sandsynlighed for, at der ikke er brændstof i tanken, hvis bilen ikke starter, dvs. lig med , dvs. forholdet mellem den forudgående sandsynlighed for, at der ikke er brændstof i tanken, og sandsynligheden for, at bilen starter ikke. For eksempel, hvis den forudgående sandsynlighed for, at der ikke er brændstof i tanken, er 0,01, og sandsynligheden for, at bilen ikke starter er 0,02, og en tilfældigt udvalgt bil ikke startede, så er sandsynligheden for, at der ikke er brændstof i dens tank. er 0,5. $B$ $EN$ $P(B\mid A)$ $P(A\mid B)$ ${\frac {P(A)}{P(B)))$

Eksempel 2

Lad sandsynligheden for ægteskab for den første arbejder være , for den anden arbejder - og for den tredje - . Den første lavede delene, den anden lavede delene, og den tredje lavede delene. Formanden tager en tilfældig del, og den viser sig at være defekt. Spørgsmålet er, hvad er sandsynligheden for, at denne del er lavet af den tredje arbejder? $p_{1}=0{,}9$ $p_{2}=0{,}5$ $p_{3}=0{,}2$ $n_{1}=800$ $n_{2}=600$ $n_{3}=900$

En begivenhed er en defekt del, en begivenhed er en del produceret af en arbejder . Så , hvor , en . $B$ $A_{i}$ $jeg$ $P(A_{i})=n_{i}/N$ $N=n_{1}+n_{2}+n_{3}$ $P(B\mid A_{i})=p_{i}$

Ifølge den samlede sandsynlighedsformel

P(B)=\sum _{i=1}^{3}P(B\mid A_{i})P(A_{i}).

Ifølge Bayes formlen får vi:

P(A_{3}\midt B)={\frac {P(B\midt A_{3})P(A_{3})}{P(B)))={\frac {P( B\midt A_{3})P(A_{3})}{P(B\midt A_{1})P(A_{1})+P(B\midt A_{2})P(A_{2} })+P(B\midt A_{3})P(A_{3})}}=

={\frac {p_{3}n_{3}/N}{p_{1}n_{1}/N+p_{2}n_{2}/N+p_{3}n_{3}/N} }={\frac {0{,}2\cdot 900/2300}{0{,}9\cdot 800/2300+0{,}5\cdot 600/2300+0{,}2\cdot 900/2300 }}=0{,}15.

Eksempel 3

Entomologen foreslår, at billen kan være en sjælden billeunderart , da den har et mønster på sin krop. Hos de sjældne underarter er 98 % af billerne mønstrede, eller P(mønster | sjælden) = 0,98. Blandt almindelige biller er kun 5% mønstrede: P(mønster | regulær) = 0,05. Der er kun 0,1% af de sjældne arter af biller blandt hele bestanden: P(sjælden) = 0,001. Hvad er sandsynligheden for, at en mønstret bille er en sjælden underart, det vil sige, hvad er P(sjælden | mønster) ?

Fra den udvidede Bayes-sætning får vi (enhver bille kan enten være sjælden eller almindelig): ${\begin{aligned}P({\text{sjælden}}\mid {\tekst{mønster)))&={\frac {P({\text{mønster}}\midt {\text{sjælden }})\ gange P({\tekst{sjælden}})}{P({\tekst{mønster}}\midt {\tekst{sjælden}})\gange P({\tekst{sjælden}})\, +\,P({\tekst{mønster}}\midt {\tekst{almindelig)))\ gange P({\tekst{almindelig)))))\\[8pt]&={\frac {0{, }98\gange 0{,}001}{0{,}98\gange 0{,}001+0{,}05\gange 0{,}999}}\\[8pt]&\ca. 0{,} 019.\end{aligned}}$

Eksempel 4 er et paradoks i Bayes' sætning

Lad der være en sygdom med en fordelingshyppighed blandt befolkningen på 0,001 og en diagnostisk undersøgelsesmetode, der med en sandsynlighed på 0,9 identificerer en patient, men samtidig har en sandsynlighed på 0,01 for et falsk positivt resultat - en fejlagtig påvisning af en sygdom hos en rask person ( mere... ). Find sandsynligheden for, at en person er rask, hvis han blev erkendt som syg under undersøgelsen.

Lad os betegne den begivenhed, som undersøgelsen viste, at personen er syg på, som "syg" med anførselstegn, syg - den begivenhed, at personen er virkelig syg, rask - begivenheden, at personen er virkelig rask. Derefter omskrives de givne betingelser som følger:

${\begin{aligned}P({\text{"sick}}\mid {\text{sick)))&=0{,}9\end{aligned}}$

${\begin{aligned}P({\text{“ill”}}\mid {\text{sund)))&=0{,}01\end{aligned}}$

${\begin{aligned}P({\text{sick)))&=0{,}001\end{aligned}}$ , mens , betyder: ${\begin{aligned}P({\text{sund)))&=1-P({\text{sick)))\end{aligned))$

${\begin{aligned}P({\text{sund)))&=0{,}999\end{aligned))$

Sandsynligheden for, at en person er rask, hvis han blev anerkendt som syg, er lig med den betingede sandsynlighed:

${\begin{aligned}P({\text{sund}}\mid {\text{“ill”)))\end{aligned}}$

For at finde det, beregner vi først den samlede sandsynlighed for at blive anerkendt som patient:

${\begin{aligned}P({\text{"ill")))&=P({\text{"ill"}}\mid {\text{sund)))\cdot P({\ tekst{sund)))+P({\text{"syg"}}\mid {\text{syg)))\cdot P({\text{syg)))\\&=0{,}01\ gange 0{,}999+0{,}9\gange 0{,}001=0{,}01089\end{aligned}}$

Sandsynligheden for, at en person er rask, hvis resultatet er "syg":

${\begin{aligned}P({\text{sund}}\mid {\text{"ill")))&={\frac {P({\text{"ill"}}\mid { \text{sund)))\cdot P({\text{sund)))}{P({\text{"syg")))))\\&={\frac {0{,}01\gange 0{,}999}{0{,}01089}}\approx 0{,}917\end{aligned}}$

Således er 91,7% af personer, hvis undersøgelse viste resultatet "syge", faktisk raske mennesker. Årsagen til dette er, at sandsynligheden for et falsk positivt resultat, selv om det er lille, alt efter problemets tilstand er en størrelsesorden større end andelen af patienter i den undersøgte gruppe af mennesker.

Hvis de fejlagtige resultater af undersøgelsen kan betragtes som tilfældige, vil en anden undersøgelse af den samme person give et uafhængigt resultat fra den første. I dette tilfælde, for at reducere andelen af falske positive resultater, giver det mening at genundersøge folk, der modtog resultatet "syge". Sandsynligheden for, at en person er rask efter at have modtaget et gentaget resultat af "syg", kan også beregnes ved hjælp af Bayes' formel:

${\begin{aligned}P{\bigl (}({\text{sund}}\mid {\text{"ill"}}{\bigr )}\mid {\text{"ill"}} )&={\frac {P({\text{“syg”)\mid {\text{sund)))\cdot {\bigl (}P({\text{“ill”}}\midt {\ tekst {sund)))\cdot P({\text{sund))){\bigr )}}{P({\text{"syg"}}\mid {\text{sund)))\cdot {\ bigl (}P({\text{"syg")\mid {\text{rask)))\cdot P({\text{rask))){\bigr )}+P({\text{"syg »} }\mid {\tekst{syg)))\cdot {\bigl (}P({\text{"syg}}\midt {\tekst{syg)))\cdot P({\text{syg }}) {\bigr )}}}\\&={\frac {0{,}01\ gange 0{,}01\ gange 0{,}999}{0{,}01\ gange 0{,} 01\ gange 0{,}999+0{,}9\gange 0{,}9\gange 0{,}001}}\ca. 0{,}1098\end{aligned}}$

Muligheder for fortolkning af sandsynligheder i Bayes' sætning

Matematisk viser Bayes' sætning sammenhængen mellem sandsynligheden for begivenhed A og sandsynligheden for begivenhed B, P ( A ) og P ( B ), den betingede sandsynlighed for forekomsten af begivenhed A med eksisterende B og forekomsten af begivenhed B med eksisterende A, P ( A | B ) og P ( B | A).

Generelt ser Bayes-formlen sådan ud:

${\displaystyle P(A\midt B)={P(B\midt A)\,P(A)}/{P(B)))$

Betydningen af udtrykket afhænger af, hvordan sandsynligheden i den givne formel fortolkes.

Bayes' fortolkning

I Bayesiansk fortolkning måler sandsynlighed niveauet af tillid. Bayes' sætning forbinder troværdigheden af en antagelse før og efter at have taget højde for de åbenlyse beviser. For eksempel foreslog nogen, at når en mønt kastes, vil den lande 2 gange oftere med hale op og hoved ned. I første omgang, graden af tillid til, at en sådan begivenhed vil ske, vil mønten falde præcis sådan - 50%. Tillidsniveauet kan stige til 70 %, hvis antagelsen understøttes af beviser. [ ryd op ]

For antagelse (hypotese) A og bevis B

P(A) - a priori sandsynlighed for hypotese A, initialt tillidsniveau for antagelse A;
P(A | B) er den bageste sandsynlighed for hypotese A, når hændelse B indtræffer;
forholdet P ( B | A )/ P ( B ) viser, hvordan begivenhed B hjælper med at ændre tillidsniveauet i antagelse A.

Frekvenstolkning

I frekvensfortolkningen beregner Bayes' sætning proportionerne af visse udfald af en begivenhed. Antag, at et eksperiment er blevet kørt mange gange og i nogle tilfælde har resulteret i resultater A og/eller B. Så:

P ( A ) - andelen af tilfælde, hvor eksperimentet førte til resultatet A.
P ( B ) - andelen af tilfælde, hvor eksperimentet førte til resultatet B.
P ( B | A ) - andelen af sager med resultat B blandt sager med resultat A.
P ( A | B ) er andelen af sager med resultat A blandt sager med resultat B.

Rollen af Bayes' sætning kan bedst forstås ud fra trædiagrammerne præsenteret til højre. Diagrammerne viser den forskellige rækkefølge af fordeling af begivenheder ved tilstedeværelsen eller fraværet af resultaterne A og B. Bayes' sætning fungerer som et bindeled mellem disse fordelinger.

Formularer

Begivenheder

Simpel form

For hændelser A og B , forudsat at P ( B ) ≠ 0,

P(A\midt B)={\frac {P(B\midt A)\,P(A)}{P(B)))\cdot

Mange tillæg til Bayes' sætning siger, at hændelsen B er kendt, og man skal forstå, hvordan viden om hændelsen B påvirker sikkerheden for, at hændelsen A vil indtræffe. I dette tilfælde er nævneren for det sidste udtryk - sandsynligheden for forekomsten af begivenheden B - er kendt; vi vil ændre A. Bayes' sætning viser, at de posteriore sandsynligheder er proportionale med tælleren:

P(A\midt B)\propto P(A)\cdot P(B\midt A)\

(Proportionalitet af A for et givet B ). Kort sagt er posterior proportional med prior (se Lee, 2012, kapitel 1).

Hvis begivenhederne A 1 , A 2 , ... er gensidigt udelukkende og udtømmende, det vil sige, kun en af begivenhederne er mulig, to begivenheder kan ikke ske samtidigt, vi kan bestemme proportionalitetskoefficienten, med fokus på det faktum, at deres sandsynligheder bør tilføje op til én. For en given begivenhed A er for eksempel selve begivenheden A og dens modsætning ¬ A gensidigt udelukkende og udtømmende. Ved at betegne proportionalitetsfaktoren som C har vi:

P(A\midt B)=c\cdot P(A)\cdot P(B\midt A)\

og .

P(\neg A\midt B)=c\cdot P(\neg A)\cdot P(B\midt \neg A)

Ved at kombinere disse to formler får vi det:

c={\frac {1}{P(A)\cdot P(B\mid A)+P(\neg A)\cdot P(B\midt \neg A))).

Udvidet form

Ofte er hændelsesrummet (såsom { A j } ) defineret i form af P ( A j ) og P ( B | A j ). Det er i dette tilfælde, at det er nyttigt at bestemme P ( B ) ved at anvende den samlede sandsynlighedsformel :

P(B)={\sum _{j}P(B\mid A_{j})P(A_{j})},

\implies P(A_{i}\mid B)={\frac {P(B\mid A_{i})\,P(A_{i})}{\sum \limits _{j}P (B\midt A_{j})\,P(A_{j})}}\cdot

I særdeleshed

P(A\midt B)={\frac {P(B\midt A)\,P(A)}{P(B\midt A)P(A)+P(B\midt \neg A )P(\neg A)}}

Kontinuerlige tilfældige variabler

Overvej rummet af elementære begivenheder Ω dannet af to størrelser X og Y . Grundlæggende gælder Bayes' sætning for begivenhederne A = { X = x } og B = { Y = y }. Udtrykkene bliver dog 0 på punkter, hvor variablen har en endelig sandsynlighedstæthed . For nyttigt at kunne fortsætte med at bruge Bayes' sætning kan man angive det i form af passende tætheder (se Formelafledning ).

Simpel form

Hvis X er kontinuert og Y er diskret, så

f_{X}(x\mid Y=y)={\frac {P(Y=y\midt X=x)\,f_{X}(x)}{P(Y=y))) .

Hvis X er diskret og Y er kontinuert,

P(X=x\mid Y=y)={\frac {f_{Y}(y\midt X=x)\,P(X=x)}{f_{Y}(y))) .

Hvis både X og Y er kontinuerlige,

f_{X}(x\mid Y=y)={\frac {f_{Y}(y\midt X=x)\,f_{X}(x)}{f_{Y}(y) }}.

Udvidet form

Det kontinuerlige hændelsesrum er ofte defineret som tælleren af betingelserne A. Det kontinuerlige hændelsesrum er ofte repræsenteret som tælleren. I fremtiden er det nyttigt at slippe af med nævneren ved hjælp af formlen for den samlede sandsynlighed . For 'f Y ( y ) bliver dette et integral:

f_{Y}(y)=\int _{-\infty }^{\infty }f_{Y}(y\mid X=\xi )\,f_{X}(\xi )\,d \xi.

Bayes' regel

Bayes' regel er en modificeret Bayes' sætning:

O(A_{1}:A_{2}\midt B)=O(A_{1}:A_{2})\cdot \Lambda (A_{1}:A_{2}\midt B)

hvor

\Lambda (A_{1}:A_{2}|B)={\frac {P(B\midt A_{1})}{P(B\midt A_{2)))))

Dette kaldes Bayes' regel eller likelihood ratio. Forskellen i sandsynligheden for, at to begivenheder indtræffer, er simpelthen forholdet mellem sandsynligheden for de to begivenheder. På denne måde

O(A_{1}:A_{2})={\frac {P(A_{1})}{P(A_{2})))

O(A_{1}:A_{2}\midt B)={\frac {P(A_{1}\midt B)}{P(A_{2}\midt B)))

Afledning af formler

Til begivenheder

Bayes' sætning kan udledes af definitionen af sandsynlighed :

P(A\mid B)={\frac {P(A\cap B)}{P(B))),{\text{ if }}P(B)\neq 0,

P(B\mid A)={\frac {P(A\cap B)}{P(A))),{\text{ if }}P(A)\neq 0,

\implies P(A\cap B)=P(A\midt B)\,P(B)=P(B\midt A)\,P(A),

\implies P(A\midt B)={\frac {P(B\midt A)\,P(A)}{P(B)))),{\text{ if }}P(B ) \neq 0.

For tilfældige variabler

For to kontinuerte stokastiske variable X og Y kan Bayes' sætning på lignende måde udledes af definitionen af en betinget fordeling :

f_{X}(x\mid Y=y)={\frac {f_{X,Y}(x,y)}{f_{Y}(y)))

f_{Y}(y\mid X=x)={\frac {f_{X,Y}(x,y)}{f_{X}(x)))

\implies f_{X}(x\mid Y=y)={\frac {f_{Y}(y|X=x)\,f_{X}(x)}{f_{Y}(y )}}.

Se også

Noter

↑ Kahneman, et al., 2005 , s. 153-160.
↑ Bayes, Thomas og Price, Richard (1763). "Et essay om at løse et problem i tilfældighedslæren. Af afdøde Rev. Hr. Bayes, meddelt af Mr. Price, i et brev til John Canton, MA og FRS." Philosophical Transactions of the Royal Society of London 53: 370-418. (utilgængeligt link) . Hentet 21. april 2010. Arkiveret fra originalen 10. april 2011. (ubestemt)
↑ Jeffreys, Harold (1973), Scientific Inference (3. udgave), Cambridge University Press, s. 31, ISBN 978-0-521-18078-8

Litteratur

Gmurman V. E. Sandsynlighedsteori og matematisk statistik, - M . : Højere uddannelse. 2005
Bedømmelse under usikkerhed: heuristik og skævheder / Daniel Kahneman, et al. — 21. - Cambridge University Press, 2005. - 555 s. - ISBN 978-0-521-28414-1 .
Eliezer Yudkowsky . Visuel forklaring af Bayes' sætning

For yderligere undersøgelse

McGrayne, Sharon Bertsch. Teorien der ikke ville dø: Hvordan Bayes' styre knækkede gådekoden, jagede russiske ubåde og kom triumferende ud af to århundreders kontroverser . - Yale University Press , 2011. - ISBN 978-0-300-18822-6 .
Andrew Gelman, John B. Carlin, Hal S. Stern og Donald B. Rubin (2003), Bayesian Data Analysis, anden udgave, CRC Press.
Charles M. Grinstead og J. Laurie Snell (1997), "Introduction to Probability (2nd edition)", American Mathematical Society (gratis pdf tilgængelig [1] .
Pierre-Simon Laplace. (1774/1986), "Memoir om sandsynligheden for årsagerne til begivenheder", Statistical Science 1(3):364-378.
Peter M. Lee (2012), Bayesian Statistics: An Introduction, Wiley.
Rosenthal, Jeffrey S. (2005): "Struck by Lightning: The Curious World of Probabilities." Harper Collings.
Stephen M. Stigler (1986), "Laplace's 1774 Memoir on Inverse Probability", Statistical Science 1(3):359-363.
Stone, JV (2013). Kapitel 1 i bogen Bayes' Rule: A Tutorial Introduction , University of Sheffield, England.

Links

The Theory That Would Not Die af Sharon Bertsch McGrayne New York Times Boganmeldelse af John Allen Paulos den 5. august 2011
Weisstein, Eric W. Bayes' Teorem (engelsk) på Wolfram MathWorld- webstedet .
Bayes' sætning (engelsk) på PlanetMath-hjemmesiden .
Bayes sætning og forudsigelsens tåbelighed
En tutorial om sandsynlighed og Bayes' teorem udarbejdet til Oxford University psykologistuderende
En intuitiv forklaring af Bayes' sætning af Eliezer S. Yudkowsky

Ordbøger og encyklopædier	stor kinesisk Fantastisk norsk Stor russer Litauisk universal Britannica (online)
I bibliografiske kataloger	GND : 4144221-0