Bayes koefficient

Den Bayesianske koefficient  er et Bayesiansk alternativ til statistisk hypotesetestning [1] [2] . Bayesian Model Comparison  er en metode til at vælge modeller baseret på Bayes-koefficienter. De diskuterede modeller er statistiske modeller [3] . Formålet med Bayes-koefficienten er at kvantificere støtten af ​​en model over en anden model, uanset om modellerne er korrekte eller ej [4] . Den tekniske definition af "støtte" i sammenhæng med Bayesiansk slutning er givet nedenfor.

Definition

Bayes-koefficienten er sandsynlighedsforholdet for den marginale sandsynlighed for to hypoteser, normalt nulhypotesen og alternativet [5] .

Den bageste sandsynlighed for en model M givet af data D er givet ved Bayes' sætning :

Det nøgledataafhængige udtryk er sandsynligheden for model M givet data D , og ​​det repræsenterer sandsynligheden for, at nogle af dataene opnås, forudsat at model M er accepteret . Den korrekte beregning af dette udtryk er nøglen til Bayesiansk sammenligning af modeller.

Givet et modelvalgsproblem , hvor vi skal vælge mellem to modeller baseret på observerede data D , er den relative sandsynlighed for to forskellige modeller M 1 og M 2 , parametriseret af parametervektorerne og , givet af Bayes-koefficienten K , defineret som

Hvis to modeller a priori er lige sandsynlige, så er Bayes-koefficienten lig med forholdet mellem de posteriore sandsynligheder for modellerne M 1 og M 2 . Hvis sandsynligheden svarende til det maksimale sandsynlighedsestimat af parameteren for hver statistisk model anvendes i stedet for Bayes-koefficientintegralet , så bliver testen en klassisk sandsynlighedsratiotest . I modsætning til sandsynlighedsforholdstesten afhænger Bayesiansk modelsammenligning ikke af et bestemt sæt parametre, da det beregnes ved at integrere over alle parametre i hver model (under hensyntagen til tidligere sandsynligheder ). Fordelen ved at bruge Bayes-koefficienter er dog, at de automatisk og helt naturligt indeholder en straf for overinkorporering af modelstruktur [6] . Dette beskytter mod overtræning . I tilfælde af modeller, for hvilke den eksplicitte form af sandsynlighedsfunktionen er ukendt, eller dens beregning er for dyr, kan omtrentlige Bayesianske beregninger [7] bruges til Bayesiansk modelvalg [en] [7] , selvom det bør være taget i betragtning, at det omtrentlige Bayesianske estimat af Bayes-koefficienter ofte er skævt [8] .

Andre tilgange:

• behandle sammenligningsmodellen som et beslutningsproblem ved at beregne den forventede værdi eller omkostninger ved hvert modelvalg;
• bruge princippet om minimum beskedlængde ( eng.  minimum message length , MML).

Fortolkning

En værdi på K > 1 betyder, at hypotese M 1 er stærkere understøttet af dataene end hypotese M 2 . Bemærk, at klassisk statistisk hypotesetestning som standard er en enkelt hypotese (eller model) (" nulhypotesen ") og kun betragter beviserne imod den. Harold Jeffries giver en tabel til fortolkning af den opnåede værdi af K [9] :

Den anden kolonne angiver de tilsvarende støttevægte i enheder af decihartli (også kendt som decibans ), bit tilføjet i den tredje kolonne for klarhedens skyld. Ifølge I. J. Good kan mennesker i hverdagen næppe med rimelighed vurdere forskellen i graden af ​​tillid til hypotesen svarende til en vægtændring på 1 deciban eller 1/3 bit (f.eks. et udfaldsforhold på 4:5 i 9 forsøg med to mulige udfald) [10] .

En alternativ, bredt citeret tabel er blevet foreslået af Kass og Raftery (1995) [6] :

Brugen af ​​Bayes-koefficienter eller klassisk statistisk hypotesetestning sker i sammenhæng med inferens , ikke beslutningstagning under usikkerhed . Det vil sige, at vi kun ønsker at finde ud af, hvilken hypotese der er korrekt, frem for at tage en reel beslutning baseret på den information. Frekvensstatistik skelner nøje mellem de to tilgange, da klassiske hypotesetestmetoder ikke er sammenhængende i Bayesiansk forstand. Bayesianske procedurer, herunder Bayes-koefficienter, er sammenhængende, så der er ingen grund til at skelne mellem dem. Inferens ses så simpelthen som et særligt tilfælde af beslutningstagning under usikkerhed, hvor den endelige handling er at returnere en værdi. Til beslutningstagning kan statistikere, der bruger den Bayesianske tilgang, bruge Bayes-koefficienten sammen med en forudgående fordeling og en tabsfunktion . I sammenhæng med output vil tabsfunktionen have form af reglen for beregning af resultatet . Brug af den logaritmiske scoringsregel resulterer for eksempel i forventet nytte , som tager form af Kullback-Leibler divergensen .

Eksempel

Lad os sige, at vi har en tilfældig variabel , der kræver enten succes eller fiasko. Vi ønsker at sammenligne en model M 1 , hvor sandsynligheden for succes er q = ½ , og en anden model M 2 , hvor værdien af ​​q er ukendt, og vi tager som den forudgående fordeling for q den ensartede fordeling på [0,1 ]. Vi laver 200 forsøg og får 115 succeser og 85 fiaskoer. Sandsynligheden kan beregnes i henhold til binomialfordelingen :

Så har vi til hypotesen M 1

mens for M 2

Forholdet mellem disse værdier er 1,197..., derfor er forskellen "næppe bemærkelsesværdig", selvom valget hælder lidt mod M 1 .

Test af disse statistiske hypoteser på basis af frekvensinferensen M 1 (her betragtet som nulhypotesen ) vil give et helt andet resultat. En sådan test angiver, at M1-hypotesen skal forkastes på 5 % signifikansniveau, da sandsynligheden for at opnå 115 eller flere succeser fra en stikprøve på 200 emner ved q = ½ er 0,0200, og den tosidede test for opnåelse af et ekstremum på 115 eller mere giver 0,0400. Bemærk, at 115 adskiller sig fra 100 med mere end to standardafvigelser . Således, mens test af en statistisk hypotese baseret på frekvensinferens giver statistisk signifikans på 5%-niveauet, er det usandsynligt, at Bayes' koefficient vil acceptere dette som et ekstremt resultat. Bemærk dog, at en ikke-homogen forudgående fordeling (f.eks. en, der afspejler forventningen om, at antallet af succeser og fiaskoer vil være af samme størrelsesorden) kan resultere i en Bayesiansk koefficient, der er mere i overensstemmelse med frekvensinferenstestning .

I en klassisk sandsynlighedsratiotest ville det maksimale sandsynlighedsestimat for q blive fundet at være 115 ⁄ 200 = 0,575 , hvorfra

(i stedet for at tage et gennemsnit over alle mulige q ). Dette giver et sandsynlighedsforhold på 0,1045 og peger på M 2 - hypotesen .

M 2 er en mere kompleks model end M 1 , fordi den har en fri parameter, der giver dig mulighed for at beskrive dataene mere konsekvent. Bayes-koefficienternes evne til at tage højde for dette er årsagen til , at Bayesiansk slutning fremsættes som en teoretisk begrundelse og generalisering af Occams barbermaskine , hvor type I-fejl reduceres [11] .

På den anden side tager den moderne relative sandsynlighedsmetode højde for antallet af frie modelparametre, i modsætning til det klassiske sandsynlighedsforhold. Metoden med relativ sandsynlighed kan anvendes som følger. Model M 1 har 0 parametre, og derfor er dens Akaike Information Criterion (AIC) værdi 2 · 0 − 2 ln 0,005956 ≈ 10,2467 . Model M 2 har 1 parameter, og derfor er dens AIC-værdi 2 · 1 − 2 ln 0,056991 ≈ 7,7297 . Derfor er det mindre sandsynligt, at M 1 minimerer informationstab end M 2 , tilnærmelsesvis med en faktor på exp((7,7297 − 10,2467)/2) ≈ 0,284 gange. M 2 er således en smule at foretrække, men M 1 kan ikke kasseres.

Ansøgning

• Den Bayesianske koefficient blev anvendt til at bestille den dynamiske ekspression af gener i stedet for q - værdien [12] .

Se også

• Akaike informationskriterium
• Tilnærmede Bayesianske beregninger
• Bayesiansk informationskriterium
• Informationskriterium for summen af ​​kvadrerede afvigelser fra middelværdien
• Lindleys paradoks
• Minimum beskedlængde
• Modelvalg

• odds forhold
• Relativ risiko

Noter

1. ↑ Goodman (1), 1999 , s. 995-1004.
2. ↑ Goodman (2), 1999 , s. 1005-13.
3. ↑ Morey, Romeijn, Rouder, 2016 , s. 6-18.
4. ↑ Ly, Verhagen, Wagenmakers, 2016 , s. 19-32.
5. ↑ Godt, Hardin, 2012 , s. 129-131.
6. ↑ 1 2 Kass, Raftery, 1995 , s. 791.
7. ↑ Toni, Stumpf, 2009 , s. 104-10.
8. ↑ Robert, Cornuet, Marin, Pillai, 2011 , s. 15112–15117.
9. ↑ Jeffreys, 1961 , s. 432.
10. ↑ Godt, 1979 , s. 393-396.
11. ↑ Skærpning af Ockhams barberkniv på en Bayesiansk strop . Hentet 5. januar 2019. Arkiveret fra originalen 12. september 2015. (ubestemt)
12. ↑ Hajiramezanali, Dadaneh, Figueiredo, Sze, Zhou, Qian, 2018 .

Litteratur

• Fremsend evidensbaseret medicinsk statistik. 1: P-værdien fejlslutning  // Ann Intern Med. - 1999. - T. 130 , no. 12 . - doi : 10.7326/0003-4819-130-12-199906150-00008 . — PMID 10383371 .
• Fremsend evidensbaseret medicinsk statistik. 2: Bayes-faktoren  // Ann Intern Med. - 1999. - T. 130 , no. 12 . — S. 1005–13 . - doi : 10.7326/0003-4819-130-12-199906150-00019 . — PMID 10383350 .
• Richard D. Morey, Jan-Willem Romeijn, Jeffrey N. Rouder. Filosofien bag Bayes-faktorer og kvantificeringen af ​​statistiske beviser // Journal of Mathematical Psychology. - 2016. - T. 72 . - doi : 10.1016/j.jmp.2015.11.001 .
• Alexander Ly, Josine Verhagen, Eric-Jan Wagenmakers. Harold Jeffreys standard Bayes faktor hypotese test: Forklaring, udvidelse og anvendelse i psykologi // Journal of Mathematical Psychology. - 2016. - T. 72 . — S. 19–32 . - doi : 10.1016/j.jmp.2015.06.004 .
• Robert E. Kass, Adrian E. Raftery. Bayes Factors  // Journal of the American Statistical Association. - 1995. - T. 90 , nr. 430 . - doi : 10.2307/2291091 .
• Toni T., Stumpf MPH Simuleringsbaseret modelvalg for dynamiske systemer i system- og populationsbiologi  // Bioinformatik. - 2009. - T. 26 , no. 1 . - doi : 10.1093/bioinformatics/btp619 . - arXiv : 0911.1705 . — PMID 19880371 .
• Robert CP, Cornuet J., Marin J., Pillai NS Manglende tillid til tilnærmet Bayesiansk beregningsmodelvalg  // Proceedings of the National Academy of Sciences. - 2011. - T. 108 , no. 37 . - doi : 10.1073/pnas.1102900108 . - . — PMID 21876135 .
• Jeffreys H. Sandsynlighedsteorien . — 3. — Oxford, 1961.
• Gode ​​IJ- studier i sandsynlighedshistorie og statistik. XXXVII AM Turings statistiske arbejde i Anden Verdenskrig // Biometrika . - 1979. - T. 66 , no. 2 . - doi : 10.1093/biomet/66.2.393 .
• Hajiramezanali E., Dadaneh SZ, Figueiredo P. d., Sze S., Zhou Z., Qian X. Differentialekspressionsanalyse af dynamisk sekventeringstællingsdata med en Gamma Markov-kæde . – 2018.
• Phillip Good, James Hardin. Almindelige fejl i statistik (og hvordan man undgår dem). — 4. - Hoboken, New Jersey: John Wiley & Sons, Inc., 2012. - ISBN 978-1118294390 .
• Bernardo J., Smith A.F.M. Bayesian Theory. - John Wiley, 1994. - ISBN 0-471-92416-4 .
• Denison DGT, Holmes CC, Mallick BK, Smith AFM Bayesianske metoder til ikke-lineær klassificering og regression. - John Wiley, 2002. - ISBN 0-471-49036-9 .
• Richard O. Duda, Peter E. Hart, David G. Stork. Afsnit 9.6.5 // Mønsterklassifikation. — 2. - Wiley, 2000. - S. 487-489. — ISBN 0-471-05669-3 .
• Gelman A., Carlin J., Stern H., Rubin D. Bayesian Data Analysis. — London: Chapman & Hall , 1995. — ISBN 0-412-03991-5 .
• Jaynes ET kapitel 24: MODELSAMMENLIGNING OG ROBUSTHED // Sandsynlighedsteori: videnskabens logik . - 1994.
• Lee PM Bayesian Statistics: en introduktion. - Wiley, 2012. - ISBN 9781118332573 .
• Robert Winkler. Introduktion til Bayesiansk slutning og beslutning. — 2. - Probabilistic, 2003. - ISBN 0-9647938-4-9 .

Link

• BayesFactor — en R-pakke til beregning af Bayes-faktorer i fælles forskningsdesign
• Bayes Factor Calculators — webbaseret version af meget af BayesFactor-pakken