Regression (matematik)

Regression ( lat. regressio - baglæns bevægelse, tilbagetog) i sandsynlighedsteori og matematisk statistik er et ensidigt stokastisk forhold, der etablerer en overensstemmelse mellem stokastiske variable [1] , det vil sige et matematisk udtryk , der afspejler forholdet mellem den afhængige variabel y og de uafhængige variable x , forudsat at dette udtryk vil have statistisk signifikans . I modsætning til den rent funktionelle afhængighed y = f ( x ), når hver værdi af den uafhængige variabel x svarer til én specifik værdi af y , med et regressionsforhold, kan den samme værdi af x , afhængigt af tilfældet, svare til forskellige værdier af y . Hvis der for hver værdi er værdier y i 1 ... y i i af værdien y , så betyder afhængigheden af aritmetikken på og er en regression i statistisk betydning af dette udtryk [2] . $x=x_{i}$ $n_{i}$ ${\bar {y}}_{i}=(y_{i1}+...+y_{in_{i}})/n_{i}$ $x=x_{i}$

Historie

Dette udtryk blev første gang brugt i statistik af Francis Galton (1886) i forbindelse med undersøgelsen af nedarvningen af menneskelige fysiske egenskaber. Menneskelig højde blev taget som et af kendetegnene; mens man fandt ud af, at i almindelighed var høje fædres sønner, ikke overraskende, højere end sønner af fædre med lav statur. Mere interessant var det, at variationen i sønnernes højde var mindre end variationen i fædrenes højde. Sådan manifesteredes tendensen til at bringe sønnernes vækst tilbage til gennemsnittet ( regression til middelmådighed ), det vil sige "regression". Dette faktum blev demonstreret ved at beregne den gennemsnitlige højde for sønner af fædre, der er 56 tommer høje, ved at beregne gennemsnitshøjden for sønner af fædre, der er 58 tommer høje, og så videre . , og langs abscisse -aksen - værdierne af fædres gennemsnitlige højde. Punkterne (ca.) ligger på en lige linje med en positiv hældning mindre end 45°; det er vigtigt, at regressionen var lineær .

Beskrivelse

Antag, at der er en stikprøve fra en bivariat fordeling af et par stokastiske variable ( X, Y ). Den rette linje i planet ( x, y ) var den selektive analog af funktionen

g(x)=E(Y\midt X=x).

I sandsynlighedsteorien forstås begrebet "regression" som denne funktion, der ikke er andet end en betinget matematisk forventning til en stokastisk variabel Y , forudsat at en anden stokastisk variabel X har taget værdien x . Hvis for eksempel et par ( X, Y ) har en bivariat normalfordeling med E ( X )=μ 1 , E ( Y )=μ 2 , var( X )=σ 1 2 , var( Y )=σ 2 2 , cor ( X, Y )=ρ, så kan det påvises, at den betingede fordeling af Y for X = x også vil være normal med forventning lig med

E(Y\mid X=x)=\mu_2+\varrho\frac{\sigma_2}{\sigma_1}(x-\mu_1),

og spredning

\mathrm{var}(Y\midt X=x)=\sigma_2^2(1-\varrho^2).

I dette eksempel er regressionen af Y på X en lineær funktion . Hvis regressionen af Y på X ikke er lineær, så er de givne ligninger en lineær tilnærmelse af den sande regressionsligning.

Generelt vil regression af en stokastisk variabel til en anden ikke nødvendigvis være lineær. Det er heller ikke nødvendigt at begrænse sig til et par tilfældige variable. Statistiske regressionsproblemer er forbundet med at bestemme den generelle form af regressionsligningen, konstruere estimater af ukendte parametre inkluderet i regressionsligningen og teste statistiske hypoteser om regression [3] . Disse problemer betragtes inden for rammerne af regressionsanalyse .

Et simpelt eksempel på regression Y på X er forholdet mellem Y og X , som udtrykkes ved forholdet: Y = u ( X ) + ε, hvor u ( x )= E ( Y | X = x ), og den tilfældige variable X og ε er uafhængige. Denne repræsentation er nyttig, når et eksperiment er planlagt til at studere den funktionelle sammenhæng y = u ( x ) mellem ikke-tilfældige variable y og x . I praksis er regressionskoefficienterne i ligningen y = u ( x ) normalt ukendte og estimeres ud fra eksperimentelle data.

Lineær regression

Vi repræsenterer afhængigheden af y af x i form af en førsteordens lineær model:

y=\beta _{0}+\beta _{1}x+\varepsilon .

Vi vil antage, at x -værdier er bestemt uden fejl, β 0 og β 1 er modelparametre, og ε er en fejl, hvis fordeling overholder normalloven med nul middelværdi og konstant afvigelse σ 2 . Værdierne af parametrene β kendes ikke på forhånd, og de skal bestemmes ud fra et sæt eksperimentelle værdier ( x i , y i ), i =1, …, n . Så kan vi skrive:

{\widehat {y_{i}}}=b_{0}+b_{1}x_{i},i=1,\dots ,n

hvor betyder værdien af y forudsagt af modellen for en given x , b 0 og b 1 er prøveestimater af modelparametrene. Lad os også bestemme — værdien af tilnærmelsesfejlen for den th observation. $\widehat{y}$ $e_i=y_i-\widehat{y_i}$ $jeg$

For at beregne modelparametrene ud fra eksperimentelle data, bruges der ofte forskellige programmer til statistisk databehandling. Men for dette simple tilfælde er det ikke svært at udskrive detaljerede formler [4] [5] .

Mindste kvadraters metode giver følgende formler til beregning af parametrene for denne model og deres afvigelser:

b_{1}={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x)))(y_{i}-{\bar {y} })}{\sum _{i=1}^{n}(x_{i}-{\bar {x)))^{2))}={\frac {\mathrm {cov} (x,y )}{\sigma _{x}^{2}}};

b_0=\bar{y}-b_1\bar{x};

s_e^2=\frac{\sum_{i=1}^n (y_i-\widehat{y})^2}{n-2};

s_{b_0}=s_e \sqrt{\frac{1}{n} + \frac{\bar{x}^2}{\sum_{i=1}^n(x_i-\bar x)^2)) ;

s_{b_1}=s_e \sqrt{\frac{1}{\sum_{i=1}^n(x_i-\bar x)^2}},

her er middelværdierne defineret som sædvanligt: , og s e 2 betegner restafvigelsen af regressionen, som er estimatet af variansen σ 2 , hvis modellen er korrekt. $\bar x=\frac{\sum_{i=1}^nx_i}{n}$ $\bar y=\frac{\sum_{i=1}^ny_i}{n}$

Standardfejlene for regressionskoefficienterne bruges på samme måde som standardfejlen for middelværdien - til at finde konfidensintervaller og teste hypoteser. Vi bruger fx Students kriterium til at teste hypotesen om, at regressionskoefficienten er lig med nul, det vil sige, at den er insignifikant for modellen. Elevens statistik :. Hvis sandsynligheden for den opnåede værdi og n − 2 frihedsgrader er tilstrækkelig lille, for eksempel <0,05, forkastes hypotesen. Tværtimod, hvis der ikke er nogen grund til at forkaste nulhypotesen, f.eks., er der grund til at tænke på eksistensen af den ønskede regression, i det mindste i denne form, eller på at indsamle yderligere observationer. Hvis det frie led er lig nul , så går den rette linje gennem origo, og skønnet af hældningen er lig med ${\displaystyle t=b/s_{b))$ $b_{1}$ $b_{0}$

b=\frac{\sum_{i=1}^n x_iy_i}{\sum_{i=1}^n x_i^2}

og dens standardfejl

s_{b}=s_e \sqrt{\frac{1}{\sum_{i=1}^n x_i^2}}.

Normalt kendes de sande værdier af regressionskoefficienterne β 0 og β 1 ikke. Kun deres estimater b 0 og b 1 er kendte . Med andre ord kan den sande lige regressionslinje gå anderledes end den, der er bygget på prøvedataene. Du kan beregne konfidensområdet for regressionslinjen. For enhver værdi af x er de tilsvarende værdier af y normalfordelt. Middelværdien er værdien af regressionsligningen . Usikkerheden ved dets estimat er karakteriseret ved standard regressionsfejlen: $\widehat{y}$

s_{\widehat{y}}=s_e \sqrt{\frac{1}{n} + \frac{(x-\bar{x})^2}{\sum_{i=1}^n(x_i- \bar x)^2}};

Nu kan du beregne -procent konfidensintervallet for værdien af regressionsligningen ved punkt x : $100\cdot \left(1-{\frac {\alpha }{2}}\right)$

\widehat{y}-t_{(1-\alpha/2, n-2)}s_{\widehat{y}}<y<\widehat{y}+t_{(1-\alpha/2, n- 2)}s_{\widehat{y}}

hvor t (1−α/2, n − 2) er t - værdien af Elevens fordeling. Figuren viser en 10-punkts regressionslinje (udtrukne prikker), samt 95 % konfidensområdet for regressionslinjen, som er afgrænset af stiplede linjer. Med 95 % sandsynlighed kan det argumenteres for, at den sande linje er et sted inden for dette område. Eller på anden måde, hvis vi indsamler lignende datasæt (angivet med cirkler) og bygger regressionslinjer på dem (angivet med blåt), så vil disse linjer i 95 tilfælde ud af 100 ikke forlade konfidensområdet. (Klik på billedet for at visualisere) Bemærk, at nogle punkter er uden for konfidensområdet. Dette er helt naturligt, da vi taler om tillidsområdet for regressionslinjen, og ikke værdierne selv. Spredningen af værdier er summen af spredningen af værdier omkring regressionslinjen og usikkerheden på positionen af denne linje selv, nemlig:

s_Y=s_e \sqrt{\frac{1}{m} + \frac{1}{n} + \frac{(x-\bar{x})^2}{\sum_{i=1}^n( x_i-\bar x)^2}};

Her er m multipliciteten af målingen y for et givet x . Og det procentvise konfidensintervall (forudsigelsesinterval) for gennemsnittet af de m y værdier ville være: $100\cdot \left(1-{\frac {\alpha }{2}}\right)$

\widehat{y}-t_{(1-\alpha/2, n-2)}s_Y<y<\widehat{y}+t_{(1-\alpha/2, n-2)}s_Y

På figuren er denne 95 % konfidensregion ved m = 1 begrænset af fuldt optrukne linjer. 95% af alle mulige værdier af y i det undersøgte interval af x -værdier falder i denne region .

Nogle flere statistikker

Det kan strengt bevises, at hvis den betingede forventning af en eller anden todimensionel stokastisk variabel ( X, Y ) er en lineær funktion af , så skal denne betingede forventning repræsenteres på formen , hvor E ( X )=μ 1 , E ( Y ) = μ2 , var( X )=σ12 , var( Y )=σ22 , cor ( X,Y ) = ρ. $E(Y\midt X=x)$ $x$ $E(Y\mid X=x)=\mu _{2}+\varrho {\frac {\sigma _{2)){\sigma _{1))}(x-\mu _{1 })$

Desuden, for den tidligere nævnte lineære model , hvor og er uafhængige stokastiske variable, og har nul forventning (og en vilkårlig fordeling), kan vi bevise, at . Derefter kan man ved hjælp af ligheden angivet ovenfor opnå formler for og : , $Y=\beta _{0}+\beta _{1}X+\varepsilon$ $x$ $\varepsilon$ $\varepsilon$ $E(Y\mid X=x)=\beta _{0}+\beta _{1}x$ ${\displaystyle \beta _{0))$ $\beta_{1}$ $\beta _{1}=\varrho {\frac {\sigma _{2}}{\sigma _{1}}}$

${\displaystyle \beta _{0}=\mu _{2}-\beta _{1}\mu _{1))$ .

Hvis det fra et sted er kendt a priori, at sættet af tilfældige punkter på planet er genereret af en lineær model, men med ukendte koefficienter og , kan man opnå punktestimater af disse koefficienter ved hjælp af de angivne formler. For at gøre dette skal du i stedet for matematiske forventninger, varianser og korrelationer af tilfældige variable X og Y erstatte deres upartiske estimater i disse formler. De opnåede estimeringsformler falder nøjagtigt sammen med formlerne udledt på basis af mindste kvadraters metode. ${\displaystyle \beta _{0))$ $\beta_{1}$

Noter

↑ E. Foerster, B. Renz , Metoder til korrelation og regressionsanalyse, 1983 , s. femten.
↑ Regression // Great Soviet Encyclopedia : [i 30 bind] / kap. udg. A. M. Prokhorov . - 3. udg. - M . : Sovjetisk encyklopædi, 1969-1978.
↑ Håndbog i anvendt statistik. I 2 bind T. 1: Pr. fra engelsk. / Ed. E. Lloyd, W. Lederman, Yu. N. Tyurin. — M.: Finans og statistik, 1989. — 510 s. — ISBN 5-279-00245-3
↑ Lavagnini I., Magno F., Seraglia R., Traldi P. Kvantitative metoder i massespektrometri - M .: Technosfera, 2008. - 176 s. - ISBN 978-5-94836-190-1 ; ISBN 978-0-470-02516-1
↑ Sergienko V.I., Bondareva I.B. Matematisk statistik i klinisk forskning. - 2. udg., revideret. og yderligere — M.: GEOTAR-Media, 2006. — 304 s. — ISBN 5-9704-0197-8

Litteratur

Forster E., Renz B. Metoder til korrelation og regressionsanalyse. Vejledning for økonomer. - M. : Finans og statistik, 1983. - 304 s. — (Bibliotek for udenlandske bøger for økonomer og statistikere).

Links

Francis Galton. "Regression Towards Mediocrity in Hereditary Stature," Journal of the Anthropological Institute , 15:246-263 (1886). (Engelsk)

Ordbøger og encyklopædier	Stor russer