Generaliserede mindste kvadrater

Den aktuelle version af siden er endnu ikke blevet gennemgået af erfarne bidragydere og kan afvige væsentligt fra den version , der blev gennemgået den 24. oktober 2015; checks kræver 4 redigeringer .

Generaliserede mindste kvadraters ( GLS , GLS ) er en metode til at estimere parametrene for regressionsmodeller , som er en generalisering af den klassiske mindste kvadraters metode . Den generaliserede mindste kvadraters metode reducerer til at minimere den "generaliserede sum af kvadrater" af regressionsresidualerne - , hvor er vektoren af residualer, er en symmetrisk positiv bestemt vægtmatrix. Den sædvanlige mindste kvadraters metode er et specialtilfælde af den generaliserede, når vægtmatricen er proportional med identiteten. $e^{T}Vi$ $e$ $W$

Det skal bemærkes, at et særligt tilfælde normalt kaldes den generaliserede mindste kvadraters metode, når den matrix, der er den inverse af kovariansmatrixen af modellens tilfældige fejl, bruges som vægtmatrix.

Essensen af de generaliserede mindste kvadrater

Det er kendt, at en symmetrisk positiv bestemt matrix kan dekomponeres som , hvor P er en ikke-degenereret kvadratisk matrix. Så kan den generaliserede sum af kvadrater repræsenteres som summen af kvadrater af de transformerede (ved hjælp af P) residualer . For lineær regression betyder det, at værdien er minimeret: $W=P^{T}P$ $(Pe)^{T}Pe$ $y=Xb+\varepsilon$

$[P(y-Xb)]^{T}[P(y-Xb)]=(Py-PXb)^{T}(Py-PXb)=(y^{*}-X^{*}b) ^{T}(y^{*}-X^{*}b)~,$

hvor , det vil sige i virkeligheden, essensen af de generaliserede mindste kvadrater er reduceret til en lineær transformation af dataene og anvendelsen af de sædvanlige mindste kvadrater på disse data . Hvis den inverse kovariansmatrix af tilfældige fejl (dvs. ) bruges som vægtmatricen , bevirker transformationen P, at den transformerede model opfylder de klassiske (Gauss-Markov) antagelser, derfor vil parameterestimater ved brug af de ordinære mindste kvadrater være de mest effektiv i klassen af lineære upartiske estimatorer. Og da parametrene for de originale og transformerede modeller er de samme, indebærer dette udsagnet om, at GLSM-estimaterne er de mest effektive i klassen af lineære upartiske estimater (Aitkens teorem). Den generaliserede mindste kvadraters formel har formen: $y^{*}=Py~,~X^{*}=PX$ $W$ $V$ $\varepsilon$ $W=V^{{-1}}$

${\hat {b}}_{{GLS}}=(X^{T}V^{{-1}}X)^{{-1}}X^{T}V^{{-1}} y$

Kovariansmatricen for disse estimater er:

$V({\hat {b}}_{{GLS}})=(X^{T}V^{{-1}}X)^{{-1}}$

Overkommelig GLS (FGLS, Feasible GLS)

Problemet med at bruge generaliserede mindste kvadrater er, at kovariansmatrixen af tilfældige fejl er ukendt. Derfor bruges der i praksis en tilgængelig variant af GLS, når der bruges et estimat af den i stedet for V. Men i dette tilfælde opstår der også et problem: antallet af uafhængige elementer i kovariansmatrixen er , hvor er antallet af observationer (for eksempel med 100 observationer skal 5050 parametre estimeres!). Derfor vil denne mulighed ikke tillade opnåelse af kvalitative estimater af parametrene. I praksis gøres der yderligere antagelser om strukturen af kovariansmatricen, det vil sige, at det antages, at elementerne i kovariansmatricen afhænger af et lille antal ukendte parametre . Deres antal bør være meget mindre end antallet af observationer. Først anvendes den sædvanlige mindste kvadraters metode, residualerne opnås, derefter estimeres de angivne parametre baseret på dem . Ved hjælp af de opnåede estimater estimeres fejlkovariansmatricen, og de generaliserede mindste kvadrater med denne matrix anvendes. Dette er essensen af en tilgængelig GMS. Det er bevist, at under visse ret generelle forhold, hvis estimaterne er konsistente, vil estimaterne for den tilgængelige CLSM også være konsistente. $n(n+1)/2$ $n$ $\theta$ $\theta$ $\theta$

Vægtet OLS

Hvis fejlkovariansmatrixen er diagonal (der er fejlheteroscedasticitet, men ingen autokorrelation), så er den generaliserede sum af kvadrater faktisk en vægtet sum af kvadrater, hvor vægtene er omvendt proportional med fejlvarianserne. I dette tilfælde taler man om en vægtet mindste kvadrater (WLS, Weighted LS). Transformationen P består i dette tilfælde i at dividere dataene med standardafvigelsen af tilfældige fejl. Den sædvanlige mindste kvadraters metode anvendes på data vægtet på denne måde.

Som i det generelle tilfælde er fejlafvigelserne ukendte og skal estimeres ud fra de samme data. Derfor er der lavet nogle simplificerende antagelser om strukturen af heteroskedasticitet.

Fejlvariansen er proportional med kvadratet af en variabel

I dette tilfælde er de faktiske diagonale elementer mængder, der er proportionale med denne variabel (lad os betegne det Z ). Desuden er proportionalitetskoefficienten ikke nødvendig til evaluering. Derfor er proceduren i dette tilfælde faktisk følgende: divider alle variable med Z (inklusive konstanten, det vil sige, at en ny variabel 1/Z vises ). Desuden kan Z være en af variablerne i selve den oprindelige model (i dette tilfælde vil den transformerede model have en konstant). Den normale mindste kvadraters metode anvendes på de transformerede data for at opnå parameterestimater:

Homogene grupper af observationer

Lad der være n observationer opdelt i m homogene grupper, inden for hver af dem antages den samme varians. I dette tilfælde evalueres modellen først ved hjælp af konventionelle mindste kvadrater, og der findes residualer. For residualerne inden for hver gruppe estimeres gruppefejlvarianserne som forholdet mellem summen af kvadraterne af residualerne og antallet af observationer i gruppen. Yderligere er dataene for hver j-te gruppe af observationer divideret med, og den sædvanlige LSM anvendes på dataene transformeret på denne måde for at estimere parametrene. $\sigma _{j}^{2}~,~j=1..m$ $\sigma _{j}$

GLM i tilfælde af autokorrelation

Hvis tilfældige fejl overholder AR(1)-modellen , vil transformationen P uden at tage hensyn til den første observation være som følger: de foregående værdier ganget med: trækkes fra den aktuelle værdi af variablerne : $\varepsilon _{t}=r\varepsilon _{{t-1}}+u_{t}$ $r$

${\begin{cases}y_{t}^{*}=y_{t}-ry_{{t-1}}\\x_{t}^{*}=x_{t}-rx_{{t-1 }}\\b_{i}^{*}=b_{i},i>0\\b_{0}^{*}=b_{0}(1-r)\end{cases}}$

Denne transformation kaldes autoregressiv transformation . For den første observation anvendes Price-Winsten-korrektionen - dataene for den første observation ganges med . Den tilfældige fejl i den transformerede model er , som antages at være hvid støj. Derfor vil brugen af konventionelle mindste kvadraters give os mulighed for at opnå kvalitative estimater af en sådan model. ${\sqrt {1-r^{2}}}$ $u_{t}$

Da autoregressionskoefficienten er ukendt, anvendes forskellige procedurer for den tilgængelige GLS.

Cochrane-Orcutt-proceduren

Trin 1. Vurdér den oprindelige model ved hjælp af mindste kvadraters metode og opnå resten af modellen.

Trin 2. Estimering af autokorrelationskoefficienten for modellens residualer (formelt kan den også opnås som et OLS-estimat af autoregressionsparameteren i hjælperegression af residualer ) $e_{t}=re_{{t-1}}+u_{t}$

Trin 3. Autoregressiv transformation af dataene (ved anvendelse af autokorrelationskoefficienten estimeret i andet trin) og estimering af parametrene for den transformerede model ved hjælp af konventionelle mindste kvadrater.

Parameterestimaterne for den transformerede model og er parameterestimater for den oprindelige model, bortset fra konstanten, som gendannes ved at dividere konstanten for den transformerede model med 1-r . Proceduren kan gentages fra andet trin, indtil den nødvendige nøjagtighed er opnået.

Hildreth-Lou procedure

I denne procedure foretages en direkte søgning efter værdien af autokorrelationskoefficienten, der minimerer summen af kvadrater af residualerne af den transformerede model. Værdierne af r er nemlig indstillet fra det mulige interval (-1; 1) med et vist trin. For hver af dem udføres en autoregressiv transformation, modellen evalueres ved de sædvanlige mindste kvadrater, og summen af kvadraterne af residualerne findes. Autokorrelationskoefficienten er valgt, for hvilken summen af kvadrater er minimal. Yderligere, i nærheden af det fundne punkt, konstrueres et gitter med et finere trin, og proceduren gentages igen.

Durbins procedure

Den transformerede model ser sådan ud:

$y_{t}-ry_{{t-1}}=b_{0}(1-r)+\sum _{{i=1}}^{k}b_{j}(x_{{tj}}- rx_{{t-1j}})+\varepsilon _{t}-r\varepsilon _{{t-1}}$

Udvidelse af parenteserne og flytning af den forsinkelsesafhængige variabel til højre, får vi

$y_{t}=b_{0}(1-r)+ry_{{t-1}}+\sum _{{j=1}}^{k}b_{j}x_{{tj}}-\ sum _{{j=1}}^{k}b_{j}rx_{{t-1j}}+\varepsilon _{t}-r\varepsilon _{{t-1}}$

Lad os introducere notationen . Så har vi følgende model $b_{0}(1-r)=a_{0},~-rb_{j}=a_{j},~u_{t}=\varepsilon _{t}-r\varepsilon _{{t-1} }$

$y_{t}=a_{0}+ry_{{t-1}}+\sum _{{j=1}}^{k}b_{j}x_{{tj}}+\sum _{{j =1}}^{k}a_{j}x_{{t-1j}}+u_{t}$

Denne model skal estimeres ved hjælp af den sædvanlige mindste kvadraters metode. Derefter gendannes koefficienterne for den oprindelige model som . ${\hat {b}}_{0}={\hat {a}}_{0}/(1-{\hat {r}}),~{\hat {b}}_{j}=- {\hat {a}}_{j}/{\hat {r}}$

I dette tilfælde kan det opnåede estimat af autokorrelationskoefficienten bruges til autoregressiv transformation og anvendelse af de mindste kvadrater for denne transformerede model for at opnå mere nøjagtige parameterestimater.

Se også

Mindste kvadratisk metode

Litteratur

Magnus Ya. R., Katyshev P. K., Peresetsky A. A. Econometrics. Indledende kursus . – 2004.

Mindste kvadrater og regressionsanalyse

Beregningsstatistik _

Mindste kvadratisk metode
Lineær MNC
Ikke-lineære mindste kvadrater
LSM med iterativ genberegning af vægte

Korrelation
og afhængighed

Pearson korrelationskoefficient
Rangkorrelation ( Spearman
Kendall )
Delvis korrelation
Forvrængende faktor

Regressions analyse

Almindelig MNC
Delvis mindste kvadraters metode
Mindst fulde kvadrater
Ridge regression

Regression som
statistisk
model

Lineær regression	Simpel lineær regression Almindelig MNC Generaliserede mindste kvadrater Vægtede mindste kvadrater Grundlæggende lineær model
forudsigende struktur	Polynomisk regression vækstkurve Segmenteret regression Lokal regression
Brugerdefineret regression	ikke-lineær Ikke-parametrisk semi-parametrisk bæredygtige kvantil isotonisk
Ikke- standardfejl	Generaliseret lineær model Binomial regression Poisson regression Logistisk regression

Variansnedbrydning

Analyse af varians
Kovariansanalyse
Multivariat variansanalyse

Modelstudie

C p Mallows
Trinvis regression
Valg af statistisk model
Validering af regressionsmodel

Forudsætninger

Gennemsnitlig og forventet respons
Gauss-Markovs sætning
Fejl og afvigelser
Statistisk test
Studentiseret balance
Minimum gennemsnitlig kvadratfejl

Eksperiment planlægning

Responsoverflademetodologi
Optimalt eksperimentdesign
Bayesiansk eksperimentdesign

Numerisk
tilnærmelse

Ansøgninger

Approksimation ved hjælp af kurver
Kalibreringskurve
Savitsky-Golay filter
System identifikation
Flytning af mindste kvadraters metode