Simpsons paradoks

Den aktuelle version af siden er endnu ikke blevet gennemgået af erfarne bidragydere og kan afvige væsentligt fra den version , der blev gennemgået den 27. november 2021; verifikation kræver 1 redigering .

Simpsons paradoks (også Yule-Simpsons paradoks eller unionsparadoks ) er en effekt, et fænomen i statistikken, når disse grupper kombineres i nærværelse af to grupper af data, i hver af hvilke der er en lige rettet afhængighed. , ændres retningen af afhængigheden til den modsatte.

Dette fænomen blev beskrevet af Simpson i 1951 og Udni Yule i 1903 Navnet "Simpsons paradoks" blev først foreslået af Colin Blythe i 1972 . Men da Simpson ikke var opdageren af denne effekt, bruger nogle forfattere upersonlige navne som " union paradoks ".

Historien om opdagelsen af paradokset

For første gang blev situationen under overvejelse noteret af Karl Pearson i artiklen "Matematical Contribution to the Theory of Evolution" [1] . Han overvejer afhængigheden af tegnene på heterogene grupper af heste. Udny Yule laver en mere detaljeret analyse af sådanne befolkningsændringer og studerer arvelighedsmekanismerne. Simpson diskuterer, hvad han kalder "a curious case" i flere afsnit af artiklen "The Interpretation of Interaction in Contingency Tables" [2] . Simpson var den første forfatter til at studere dette fænomen i form af statistik. Derfor introducerer senere matematiker K. R. Blythe i artiklen "On Simpsons Paradox and the Sure-Thing Principle" [3] begrebet "Simpsons paradoks".

Eksempler

Chip eksempel

Lad der være fire hatte (to sorte og to grå), 41 chips (23 farvede og 18 hvide) og to borde (A og B). Chips fordeles af hatte som følger:

Der er 5 farvede og 6 hvide chips i en sort hat på bord A.
Der er 3 farvede og 4 hvide chips i den grå hat på bord A.
Den sorte hat har 6 farvede og 3 hvide chips på bord B.
Den grå hat har 9 farvede og 5 hvide chips på bord B.

Lad os sige, at du vil tegne en farvet chip.

Hvis du er i nærheden af tabel A, så er sandsynligheden for at udtrække en farvet chip fra en sort hat 5/11 = 35/77 , og fra en grå hat på samme bord - 3/7 = 33/77 ; således er der større sandsynlighed for, at en farvet chip trækkes fra en sort hat end fra en grå.

Hvis du er i nærheden af tabel B, så er sandsynligheden for at tegne en farvet chip fra den sorte hat 6/9 = 84/126 , og fra den grå hat - 9/14 = 81/126 ; således er det også her, at en farvet chip er mere tilbøjelig til at blive trukket fra en sort hat end fra en grå.

Lad os nu antage, at tokens fra de to sorte hatte er stablet i én sort hat, og tokens fra de to grå hatte er stablet i én grå hat. Ved første øjekast ville det være logisk at antage, at sandsynligheden for at tegne en farvet chip fra en sort hat er højere end fra en grå. Men dette er forkert:

sandsynligheden for at tegne en farvet chip fra en sort hat er 11/20 = 231/420 ,
sandsynligheden for at tegne en farvet chip fra en grå hat er 12/21 = 240/420 ,

det vil sige, at der er større chance for at udvinde en farvet chip fra en grå hat end fra en sort [4] .

Steneksempel

Antag, at vi har fire sæt sten. Sandsynligheden for at tegne en sort sten fra sæt nr. 1 er højere end fra sæt nr. 2. Til gengæld er sandsynligheden for at trække en sort sten fra sæt nr. 3 større end fra sæt nr. 4. Kombiner sæt nr. 1 med sæt nr. 3 (vi får sæt I), og sæt nr. 2 med sæt nr. 4 (sæt II). Intuitivt ville man forvente, at sandsynligheden for at tegne en sort sten fra sæt I ville være højere end fra sæt II. Denne påstand er imidlertid ikke rigtig i det generelle tilfælde.

Faktisk, lad være antallet af sorte sten i -th sæt (prøve), være det samlede antal sten i -th sæt med . Efter betingelse: $n_{i}$ $jeg$ $m_i$ $jeg$ $i=1,2,3,4$

{\frac {n_{1}}{m_{1}}}>{\frac {n_{2}}{m_{2}}},{\frac {n_{3}}{m_{3}}} >{\frac {n_{4}}{m_{4}}}.

Sandsynligheden for at tegne en sort sten fra henholdsvis sæt I og II:

{\frac {n_{1}+n_{3}}{m_{1}+m_{3}}},{\frac {n_{2}+n_{4}}{m_{2}+m_{4 }}}.

Udtrykket for sæt I er ikke altid større end udtrykket for sæt II; det vil sige, det kan ske det

{\frac {n_{1}+n_{3}}{m_{1}+m_{3}}}<{\frac {n_{2}+n_{4}}{m_{2}+ m_{4}}}.

For eksempel kl . Det er nemt at tjekke det . Mens . $n_{1}=6,~m_{1}=13,~n_{2}=4,~m_{2}=9,~n_{3}=6,~m_{3}=9,~n_{ 4}=9,~m_{4}=14$ $6/13>4/9,~6/9>9/14$ $22/12<13/23$

Årsager

Årsagen til paradokset er den forkerte gennemsnit af to datasæt med forskellige proportioner af kontrolobservationer ( ikke-repræsentativ prøveudtagning ). Da det intuitivt antages, at når man anvender de fundne afhængigheder, vil andelen af kontrol være den samme i begge grupper, og dette er ikke sandt i de indledende data, så kan aritmetisk gennemsnitsberegning ikke anvendes på dem.

For at eliminere problemet, når der beregnes gennemsnit, er det nødvendigt at bruge vægte, der eliminerer skævheden af kontrolandelen. Så i eksemplet med chips er andelen af grå hat-chips på bord A 7 ud af 18 (39%), og på bord B er det 14 ud af 23 (61%).

For et repræsentativt gennemsnit af chancen for at tegne en farvechip er det nok at gange antallet af chips i begge farver i en af hattene med en vægtningsfaktor, der eliminerer skævhed. For eksempel, hvis der i stedet for en grå hat på bord A placeres to af de samme hatte, så ændres sandsynligheden for hvert bord separat ikke, men paradokset vil blive elimineret for at kombinere tabellerne: sandsynligheden for en farvet chip i en grå hat bliver 15/28, det vil sige mindre end fra sort.

En anden måde at løse paradokset på er at bruge formlen for total sandsynlighed .

Simpsons paradoks viser, at konklusionerne fra resultaterne af sociologiske undersøgelser med en ikke-repræsentativ prøve ikke kan accepteres som uigendrivelige, videnskabeligt beviste.

Praktisk betydning

Simpsons paradoks illustrerer ugyldigheden af generaliseringer fra ikke-repræsentative prøver, nogle gange livstruende. Så for eksempel i løbet af et forsøg med en gruppe mænd og en gruppe kvinder med samme sygdom, blev der tilføjet et nyt lægemiddel til standardbehandlingen. Resultatet for begge grupper bekræftede hver for sig effektiviteten af det nye middel.

Mænd	Tager medicin	Tager ikke medicin
genvundet	700	80
Ikke gendannet	800	130
Forhold	0,875	0,615

Kvinder	Tager medicin	Tager ikke medicin
genvundet	150	400
Ikke gendannet	70	280
Forhold	2,142	1,429

Det antages intuitivt, at hvis der er en afhængighed i begge grupper, skal den også fremgå, når disse grupper kombineres. Men selvom forholdet mellem raske og syge blandt både kvinder og mænd, der tog stoffet, er større end blandt dem, der ikke brugte det, på grund af kontrolgruppens urepræsentativitet i de aggregerede data, varer dette mønster ikke ved.

Sum	Tager medicin	Tager ikke medicin
genvundet	850	480
Ikke gendannet	870	410
Forhold	0,977	1,171

Forholdet i de aggregerede data er 850/870<480/410, altså 0,977<1,171. Derfor var andelen af dem, der tog stoffet, raske, mindre end den samme andel blandt dem, der ikke gjorde det.

For at eliminere paradokset skal det bemærkes, at forholdet mellem kontrolgruppen og behandlingsgruppen i ovennævnte grupper adskiller sig markant: for mænd er det (80+130)/(700+800) = 14 %, og for kvinder ( 400+280)/(150+ 70) = 309 %.

For korrekt gennemsnitsberegning er det nødvendigt at sikre repræsentativiteten af kontrolgruppen i begge prøver ved at indføre vægtkoefficienter, så den vægtede andel af kontroller i begge grupper bliver den samme. I dette tilfælde er det tilstrækkeligt at gange antallet af mænd, der ikke tog medicin, med vægtningsfaktoren 22,07. De ændrede tabeller vil se således ud:

Mænd	vært medicin	Tager ikke medicin
Mænd	vært medicin	initial	med vægt x22,07
genvundet	700	80	1765
Ikke gendannet	800	130	2869
Forhold	0,875	0,615

Sum	vært medicin	Tager ikke medicin
Sum	vært medicin	initial	med vægt x22,07
genvundet	850	480	2165
Ikke gendannet	870	410	3149
Forhold	0,977	1,171	0,685

Forholdet mellem det vægtede antal helbredte og ikke-restituerede blandt dem, der ikke tog medicinen, vil i dette tilfælde være 0,685, det vil sige lavere end for dem, der tog medicinen. Dette fjerner paradokset og viser forholdet mellem restituerede og ikke-restituerede uden stoffet for den samme andel af mænd og kvinder som dem, der tog stoffet, hvilket gør det muligt at sammenligne disse tal.

Se også

Will Rogers-fænomenet

Noter

↑ Karl Pearson. Matematiske bidrag til evolutionsteorien. V. Om genopbygningen af forhistoriske racers statur. Phil. Trans. R. Soc. Lond. A. 1899 192:169-244 doi:10.1098/rsta.1899.0004
↑ The Interpretation of Interaction in Contingency Tables // Journal of the Royal Statistical Society, B, 13 (1951) - pp. 238-241
↑ Blyth, Colin R. On Simpsons Paradox and the Sure-Thing Principle // Journal of the American Statistical Association , 67 (1972) - s. 364.
↑ M. Gardner . Kapitel 19. Induktion og sandsynlighed // Tidsrejse = Tidsrejse og andre matematiske forvirringer / Oversat fra engelsk af Yu. A. Danilov . - M .: Mir , 1990. - S. 278-279. — 341 s. — ISBN 5-03-001166-8 .