Mindste kvadratisk metode

Den aktuelle version af siden er endnu ikke blevet gennemgået af erfarne bidragydere og kan afvige væsentligt fra den version , der blev gennemgået den 3. juni 2022; checks kræver 4 redigeringer .

Mindste kvadraters metode (LSM) er en matematisk metode, der bruges til at løse forskellige problemer, baseret på at minimere summen af kvadrater af afvigelser af nogle funktioner fra eksperimentelle inputdata. Det kan bruges til at "løse" overbestemte ligningssystemer (når antallet af ligninger overstiger antallet af ukendte), til at finde en løsning i tilfælde af almindelige (ikke overbestemte) ikke-lineære ligningssystemer for at tilnærme punktværdierne af en bestemt funktion. OLS er en af de grundlæggende metoder til regressionsanalyse til at estimere ukendte parametre for regressionsmodeller fra prøvedata.

Historie

Indtil begyndelsen af det XIX århundrede. videnskabsmænd havde ikke bestemte regler for at løse et ligningssystem , hvor antallet af ubekendte er mindre end antallet af ligninger; Indtil da blev der brugt særlige metoder, afhængigt af typen af ligninger og af regnemaskinernes opfindsomhed, og derfor kom forskellige regnemaskiner, der tog udgangspunkt i de samme observationsdata, til forskellige konklusioner. Gauss (1795) tilskrives den første anvendelse af metoden, og Legendre (1805) opdagede og udgav den uafhængigt under sit moderne navn ( fransk: Méthode des moindres quarrés ) [1] . Laplace forbandt metoden med sandsynlighedsteorien , og den amerikanske matematiker Adrain (1808) overvejede dens probabilistiske anvendelser [2] . Metoden er udbredt og forbedret ved yderligere forskning af Encke , Bessel , Hansen m.fl.

A. A. Markovs værker i begyndelsen af det 20. århundrede gjorde det muligt at inkludere mindste kvadraters metode i teorien om estimering af matematisk statistik, hvor den er en vigtig og naturlig del. Gennem indsatsen fra Y. Neiman, F. David, A. Aitken, S. Rao blev der opnået mange vigtige resultater på dette område [3] .

Essensen af metoden med mindste kvadrater

Lad , et sæt af skalar eksperimentelle data, , et sæt af vektor eksperimentelle data, og antages at afhænge af . $y_{i}$ $i=1,...n$ $x_{i}$ $i=1,...n$ $y$ $x$

Nogle (i det simpleste tilfælde, lineær) skalarfunktion introduceres , som bestemmes af vektoren af ukendte parametre . $f(x,{\boldsymbol {\beta )))$ $\beta$

Opgaven er at finde en vektor , således at totaliteten af fejl på en eller anden måde er minimal. $\beta$ $r_{i}=y_{i}-f(x_{i},{\boldsymbol {\beta )))$

Ifølge mindste kvadraters metode er løsningen på dette problem vektoren , som minimerer funktionen $\beta$

S({\boldsymbol {\beta )))=\sum _{i=1}^{n}(y_{i}-f(x_{i},{\boldsymbol {\beta )))) ^{2}.

I det enkleste tilfælde vil resultatet af de mindste kvadrater være det aritmetiske middelværdi af inputdataene. $f(x)=\beta$

Fordelen ved LSM frem for at minimere andre typer fejl er, at hvis den er differentierbar med hensyn til , så er den også differentierbar. At ligne partielle afledte til nul reducerer problemet med at løse et ligningssystem, og hvis det afhænger af lineært, så vil ligningssystemet være lineært. $f(x,{\boldsymbol {\beta )))$ ${\boldsymbol {\beta ))$ $S({\boldsymbol {\beta )))$ $f(x,{\boldsymbol {\beta )))$ ${\boldsymbol {\beta ))$

Et eksempel er et system af lineære ligninger

Især mindste kvadraters metode kan bruges til at "løse" systemet af lineære ligninger

akse=b

hvor er en rektangulær matrix af størrelse (det vil sige antallet af rækker af matrix A er større end antallet af variabler, der søges). $EN$ $m\ gange n,m>n$

Et sådant ligningssystem har generelt ingen løsning. Derfor kan dette system kun "løses" i den forstand, at man vælger en sådan vektor for at minimere "afstanden" mellem vektorerne og . For at gøre dette kan du anvende kriteriet for at minimere summen af kvadrerede forskelle mellem venstre og højre del af systemets ligninger, dvs. Det er let at vise, at løsningen af dette minimeringsproblem fører til løsningen af følgende ligningssystem $x$ $Økse$ $b$ ${\displaystyle (Ax-b)^{T}(Ax-b)\rightarrow \min _{x))$

A^{T}Ax=A^{T}b\Højrepil x=(A^{T}A)^{{-1}}A^{T}b

Ved at bruge pseudo-inversion- operatoren kan løsningen omskrives sådan:

x=A^{+}b

hvor er den pseudoinverse matrix for . $A^+$ $EN$

Dette problem kan også "løses" ved hjælp af de såkaldte vægtede mindste kvadrater (se nedenfor), når forskellige ligninger i systemet får forskellig vægt ud fra teoretiske overvejelser.

Streng begrundelse og bestemmelse af grænserne for meningsfuld anvendelighed af metoden blev givet af A. A. Markov og A. N. Kolmogorov .

OLS i regressionsanalyse (dataapproksimation)

Lad der være værdier af en variabel (det kan være resultaterne af observationer, eksperimenter osv.) og tilsvarende variabler . Opgaven er at tilnærme forholdet mellem og af en eller anden kendt funktion op til nogle ukendte parametre , det vil sige, faktisk at finde de bedste værdier af de parametre , der bringer værdierne så tæt som muligt på de faktiske værdier . Faktisk reduceres dette til tilfældet med "løsning" af et overbestemt ligningssystem med hensyn til : $n$ $y$ $x$ $y$ $x$ $f(x,b)$ $b$ $b$ $f(x,b)$ $y$ $b$

$f(x_{t},b)=y_{t},t=1,\ldots ,n$ .

I regressionsanalyse, og i særdeleshed i økonometri, anvendes probabilistiske modeller af sammenhængen mellem variable.

$y_{t}=f(x_{t},b)+\varepsilon _{t}$ ,

hvor er de såkaldte tilfældige modelfejl. $\varepsilon _{t}$

Derfor er afvigelserne af de observerede værdier fra modelværdierne allerede antaget i selve modellen. Essensen af LSM (sædvanlig, klassisk) er at finde sådanne parametre, under hvilke summen af kvadrerede afvigelser (fejl, for regressionsmodeller kaldes de ofte regressionsresidualer ) vil være minimal: $y$ $f(x,b)$ $b$ $e_{t}$

{\hat b}_{{OLS}}=\arg \min _{{b}}RSS(b)

hvor er engelsk. Restsum af kvadrater [4] er defineret som: $RSS$

RSS(b)=e^{T}e=\sum _{{t=1}}^{n}e_{t}^{2}=\sum _{{t=1}}^{n}( y_{t}-f(x_{t},b))^{2}

I det generelle tilfælde kan dette problem løses ved hjælp af numeriske metoder til optimering (minimering). I dette tilfælde taler de om ikke-lineære mindste kvadrater (NLS eller NLLS - engelske ikke-lineære mindste kvadrater ). I mange tilfælde kan en analytisk løsning opnås. For at løse minimeringsproblemet er det nødvendigt at finde de stationære punkter af funktionen ved at differentiere den med hensyn til ukendte parametre , sidestille de afledte til nul og løse det resulterende ligningssystem: $RSS(b)$ $b$

\sum _{{t=1}}^{n}(y_{t}-f(x_{t},b)){\frac {\partial f(x_{t},b)}{\partial b }}=0

OLS i tilfælde af lineær regression

Lad regressionsafhængigheden være lineær :

y_{t}=\sum _{{j=1}}^{k}b_{j}x_{{tj}}+\varepsilon =x_{t}^{T}b+\varepsilon _{t}

Lad y være en kolonnevektor af observationer af den variable, der forklares, og være en matrix af observationer af faktorer (matricens rækker er vektorerne af faktorværdier i en given observation, langs kolonnerne er vektoren af værdier af en given faktor i alle observationer). Matrixrepræsentationen af den lineære model har formen: $x$ $({n\ gange k})$

y=Xb+\varepsilon

Så vil vektoren af estimater af den forklarede variabel og vektoren af regressionsresidualer være lig med

{\hat y}=Xb,\quad e=y-{\hat {y}}=y-Xb

følgelig vil summen af kvadraterne af regressionsresterne være lig med

RSS=e^{T}e=(y-Xb)^{T}(y-Xb)

Ved at differentiere denne funktion med hensyn til parametervektoren og ligne de afledte med nul, får vi et ligningssystem (i matrixform): $b$

(X^{T}X)b=X^{T}y

I den dechiffrerede matrixform ser dette ligningssystem sådan ud:

${\begin{pmatrix}\sum x_{{t1}}^{2}&\sum x_{{t1}}x_{{t2}}&\sum x_{{t1}}x_{{t3}}&\ ldots &\sum x_{{t1}}x_{{tk}}\\\sum x_{{t2}}x_{{t1}}&\sum x_{{t2}}^{2}&\sum x_{ {t2}}x_{{t3}}&\ldots &\sum x_{{t2}}x_{{tk}}\\\sum x_{{t3}}x_{{t1}}&\sum x_{{ t3}}x_{{t2}}&\sum x_{{t3}}^{2}&\ldots &\sum x_{{t3}}x_{{tk}}\\\vdots &\vdots &\vdots &\ddots &\vdots \\\sum x_{{tk}}x_{{t1}}&\sum x_{{tk}}x_{{t2}}&\sum x_{{tk}}x_{{t3 }}&\ldots &\sum x_{{tk}}^{2}\\\end{pmatrix}}{\begin{pmatrix}b_{1}\\b_{2}\\b_{3}\\ \vdots \\b_{k}\\\end{pmatrix}}={\begin{pmatrix}\sum x_{{t1}}y_{{t}}\\\sum x_{{t2}}y_{{ t}}\\\sum x_{{t3}}y_{{t}}\\\vdots \\\sum x_{{tk}}y_{{t}}\\\end{pmatrix}},$ hvor alle beløb overtages alle tilladte værdier på . $t$

Hvis en konstant er inkluderet i modellen (som sædvanligt), er antallet af observationer derfor for alle i det øverste venstre hjørne af matricen af ligningssystemet , og i de resterende elementer i den første række og første kolonne - kun summen af værdierne af variablerne: og det første element i højre side af systemet er . $x_{{t1}}=1$ $t$ $n$ $\sum x_{{tj}}$ $\sum y_{{t}}$

Løsningen af dette ligningssystem giver den generelle formel for mindste kvadraters estimater for den lineære model:

{\hat {b}}_{{OLS}}=(X^{T}X)^{{-1}}X^{T}y=\venstre({\frac {1}{n}}X ^{T}X\right)^{{-1}}{\frac {1}{n}}X^{T}y=V_{x}^{{-1}}C_{{xy}}

Til analytiske formål viser den sidste repræsentation af denne formel sig at være nyttig (i ligningssystemet, når det divideres med n, vises aritmetiske middel i stedet for summer). Hvis dataene er centreret i regressionsmodellen , så har den første matrix i denne repræsentation betydningen af stikprøvens kovariansmatrix af faktorer, og den anden er faktorkovariansvektoren med den afhængige variabel. Hvis dataene derudover også normaliseres til RMS (det vil sige til sidst standardiserede ), så har den første matrix betydningen af en stikprøvekorrelationsmatrix af faktorer, den anden vektor - vektorer af stikprøvekorrelationer af faktorer med en afhængig variabel.

En vigtig egenskab ved LLS-estimater for modeller med en konstant er, at linjen for den konstruerede regression passerer gennem prøvedataens tyngdepunkt, det vil sige, at ligheden er opfyldt:

{\bar {y}}={\hat {b_{1}}}+\sum _{{j=2}}^{{k}}{\hat {b}}_{j}{\bar { x}}_{j}

Især i det ekstreme tilfælde, når den eneste regressor er en konstant, finder vi, at OLS-estimatet for en enkelt parameter (konstanten selv) er lig med middelværdien af den variable, der forklares. Det vil sige, at det aritmetiske middel, kendt for sine gode egenskaber fra lovene for store tal, også er et mindste kvadraters estimat - det opfylder kriteriet for minimumsummen af kvadrerede afvigelser fra det.

De enkleste specialtilfælde

I tilfælde af parret lineær regression , når den lineære afhængighed af en variabel af en anden estimeres, forenkles beregningsformlerne (du kan undvære matrixalgebra). Ligningssystemet har formen: $y_{t}=a+bx_{t}+\varepsilon _{t}$

{\begin{pmatrix}n&\sum _{t=1}^{n}x_{t}\\\sum _{t=1}^{n}x_{t}&\sum _{t =1}^{n}x_{t}^{2}\\\end{pmatrix}}{\begin{pmatrix}a\\b\\\end{pmatrix}}={\begin{pmatrix}\sum _{t=1}^{n}y_{t}\\\sum _{t=1}^{n}x_{t}y_{t}\\\end{pmatrix}}

Herfra er det nemt at finde estimater for koefficienterne:

{\begin{cases}{\hat {b}}={\frac {n\sum _{t=1}^{n}x_{t}y_{t}-\left(\sum _{ t=1}^{n}x_{t}\right)\left(\sum _{t=1}^{n}y_{t}\right)}{n\sum _{t=1}^{ n}x_{t}^{2}-\left(\sum _{t=1}^{n}x_{t}\right)^{2}}},\\{\hat {a}}= {\frac {\sum _{t=1}^{n}y_{t}-{\hat {b))\sum _{t=1}^{n}x_{t}}{n}}. \end{sager}}

Selvom konstantmodeller generelt er at foretrække, ved man i nogle tilfælde ud fra teoretiske overvejelser, at konstanten skal være nul. For eksempel i fysik har forholdet mellem spænding og strøm formen ; måling af spænding og strøm, er det nødvendigt at estimere modstanden. I dette tilfælde taler vi om modellen . I dette tilfælde har vi i stedet for et ligningssystem en enkelt ligning $-en$ $U=I\cdot R$ $y=bx$

$\left(\sum x_{t}^{2}\right)b=\sum x_{t}y_{t}$ .

Derfor har formlen til at estimere en enkelt koefficient formen

${\hat {b))={\frac {\sum _{t=1}^{n}x_{t}y_{t)){\sum _{t=1}^{n}x_ {t}^{2}}}$ .

Tilfældet med polynomiemodellen

Hvis dataene tilnærmes ved en polynomiel regressionsfunktion af én variabel , så er det, ved at opfatte graderne som uafhængige faktorer for hver , muligt at estimere modelparametrene baseret på den generelle formel til estimering af de lineære modelparametre. For at gøre dette er det i den generelle formel tilstrækkeligt at tage højde for, at med en sådan fortolkning af og . Derfor vil matrixligningerne i dette tilfælde have formen: $f(x)=b_{0}+\sum \limits _{i=1}^{k}b_{i}x^{i}$ $x^i$ $jeg$ ${\displaystyle x_{ti}x_{tj}=x_{t}^{i}x_{t}^{j}=x_{t}^{i+j))$ ${\displaystyle x_{tj}y_{t}=x_{t}^{j}y_{t))$

${\begin{pmatrix}n&\sum \limits _{n}x_{t}&\ldots &\sum \limits _{n}x_{t}^{k}\\\sum \limits _{ n}x_{t}&\sum \limits _{n}x_{t}^{2}&\ldots &\sum \limits _{n}x_{t}^{k+1}\\\vdots & \vdots &\ddots &\vdots \\\sum \limits _{n}x_{t}^{k}&\sum \limits _{n}x_{t}^{k+1}&\ldots &\ sum \limits _{n}x_{t}^{2k}\end{pmatrix}}{\begin{bmatrix}b_{0}\\b_{1}\\\vdots \\b_{k}\end{ bmatrix}}={\begin{bmatrix}\sum \limits _{n}y_{t}\\\sum \limits _{n}x_{t}y_{t}\\\vdots \\\sum \limits _{n}x_{t}^{k}y_{t}\end{bmatrix}}.$

Statistiske egenskaber for OLS estimater

Først og fremmest bemærker vi, at for lineære modeller er mindste kvadraters estimater lineære estimater, som følger af ovenstående formel. For upartiske OLS-estimater er det nødvendigt og tilstrækkeligt at opfylde den vigtigste betingelse for regressionsanalyse : betinget af faktorerne skal den matematiske forventning om en tilfældig fejl være lig nul. Denne betingelse er opfyldt, især hvis

den matematiske forventning om tilfældige fejl er nul og
faktorer og tilfældige fejl er uafhængige stokastiske variable .

Den første betingelse for modeller med en konstant kan anses for altid at være opfyldt, da konstanten påtager sig en matematisk forventning om fejl, der ikke er nul (derfor er modeller med en konstant generelt at foretrække).

Den anden betingelse - tilstanden af eksogene faktorer - er fundamental. Hvis denne egenskab ikke er opfyldt, kan vi antage, at næsten alle estimater vil være ekstremt utilfredsstillende: de vil ikke engang være konsistente (det vil sige, at selv en meget stor mængde data ikke tillader opnåelse af kvalitative estimater i dette tilfælde). I det klassiske tilfælde antages der en stærkere antagelse om faktorers determinisme i modsætning til en tilfældig fejl, som automatisk betyder, at den eksogene betingelse er opfyldt. I det generelle tilfælde er det for konsistensen af estimater tilstrækkeligt at opfylde eksogenitetsbetingelsen sammen med konvergensen af matricen til en eller anden ikke-singular matrix med en stigning i stikprøvestørrelsen til uendelig. $V_{x}$

For at estimaterne af de (sædvanlige) mindste kvadrater ud over konsistens og upartiskhed også skal være effektive (de bedste i klassen af lineære upartiske estimater), skal yderligere egenskaber for den tilfældige fejl være opfyldt:

Konstant (samme) varians af tilfældige fejl i alle observationer (ingen heteroskedasticitet ): . $V(\varepsilon _{t})=\sigma ^{2}=konst$

Mangel på korrelation ( autokorrelation ) af tilfældige fejl i forskellige observationer indbyrdes . $cov(\varepsilon _{i},\varepsilon _{j})=0\quad \forall 1\leq i<j\leq n$

Disse antagelser kan formuleres for kovariansmatrixen for vektoren af tilfældige fejl . $V(\varepsilon )=\sigma ^{2}I$

En lineær model, der opfylder sådanne betingelser, kaldes klassisk . LLS estimater for klassisk lineær regression er upartiske , konsistente og mest effektive estimater i klassen af alle lineære upartiske estimater ). Som det er let at vise, vil kovariansmatrixen for koefficientestimationsvektoren være lig med:

$V({\hat {b}}_{{OLS}})=\sigma ^{2}(X^{T}X)^{{-1}}$ .

Effektivitet betyder, at denne kovariansmatrix er "minimal" (enhver lineær kombination af koefficientestimater, og især koefficientestimater i sig selv har en minimumsvarians), det vil sige, i klassen af lineære upartiske estimater er OLS estimaterne de bedste . De diagonale elementer i denne matrix, varianserne af koefficientestimater, er vigtige parametre for kvaliteten af de opnåede estimater. Det er dog ikke muligt at beregne kovariansmatricen, fordi den tilfældige fejlvarians er ukendt. Det kan bevises, at det upartiske og konsistente (for den klassiske lineære model) estimat af variansen af tilfældige fejl er værdien:

$s^{2}=RSS/(nk)$ .

Ved at indsætte denne værdi i formlen for kovariansmatrixen opnår vi et estimat af kovariansmatricen. De resulterende estimater er også upartiske og konsistente . Det er også vigtigt, at estimatet af fejlvariansen (og dermed koefficienternes varians) og estimaterne af modelparametrene er uafhængige stokastiske variable, hvilket gør det muligt at få teststatistik til test af hypoteser om modelkoefficienterne.

Det skal bemærkes, at hvis de klassiske antagelser ikke er opfyldt, er de mindste kvadraters parameterestimater ikke de mest effektive estimater (forbliver upartiske og konsistente ). Estimatet af kovariansmatricen forværres dog endnu mere: det bliver partisk og inkonsekvent . Det betyder, at statistiske konklusioner om kvaliteten af den konstruerede model i dette tilfælde kan være ekstremt upålidelige. En måde at løse dette problem på er at bruge specielle estimater af kovariansmatricen, der er konsistente under overtrædelser af de klassiske antagelser ( standardfejl i White-formen og standardfejl i Newey-West-formen ). En anden tilgang er at anvende de såkaldte generaliserede mindste kvadrater .

Generaliserede mindste kvadrater

Metoden med mindste kvadrater giver mulighed for en bred generalisering. I stedet for at minimere summen af kvadraterne af residualerne, kan man minimere en eller anden positiv-bestemt kvadratisk form af restvektoren , hvor er en eller anden symmetrisk positiv-bestemt vægtmatrix. Almindelige mindste kvadrater er et særligt tilfælde af denne tilgang, når vægtmatricen er proportional med identitetsmatrixen. Som bekendt er der en dekomponering for symmetriske matricer (eller operatorer) . Derfor kan den specificerede funktional repræsenteres som følger: , det vil sige, at denne funktional kan repræsenteres som summen af kvadraterne af nogle transformerede "rester". Således kan vi skelne mellem en klasse af mindste kvadraters metoder - LS-metoder (mindste kvadrater). $e^{T}Vi$ $W$ $W=P^{T}P$ $e^{T}P^{T}Pe=(Pe)^{T}Pe=e_{*}^{T}e_{*}$

Det er blevet bevist (Aitkens sætning), at for en generaliseret lineær regressionsmodel (hvor der ikke er pålagt begrænsninger på kovariansmatrixen af tilfældige fejl), er de mest effektive (i klassen af lineære upartiske estimater) estimater af de såkaldte . generaliserede mindste kvadrater (GLS, GLS - Generaliserede mindste kvadrater) - LS-metode med en vægtmatrix svarende til den inverse kovariansmatrix af tilfældige fejl :. $W=V_{{\varepsilon }}^{{-1}}$

Det kan påvises, at formlen for GLS-estimater af parametrene for den lineære model har formen

${\hat {b}}_{{GLS}}=(X^{T}V^{{-1}}X)^{{-1}}X^{T}V^{{-1}} y$ .

Kovariansmatricen for disse estimater vil henholdsvis være lig med

$V({\hat {b}}_{{GLS}})=(X^{T}V^{{-1}}X)^{{-1}}$ .

Faktisk ligger essensen af OLS i en vis (lineær) transformation (P) af de originale data og anvendelsen af de sædvanlige mindste kvadrater på de transformerede data. Formålet med denne transformation er, at for de transformerede data opfylder de tilfældige fejl allerede de klassiske antagelser.

Vægtet OLS

I tilfælde af en diagonal vægtmatrix (og dermed en kovariansmatrix af tilfældige fejl), har vi de såkaldte vægtede mindste kvadrater. I dette tilfælde minimeres den vægtede sum af kvadrater af modellens residualer, det vil sige, at hver observation modtager en "vægt", der er omvendt proportional med variansen af den tilfældige fejl i denne observation :. Faktisk transformeres dataene ved at vægte observationerne (dividere med et beløb, der er proportionalt med den formodede standardafvigelse af de tilfældige fejl), og normale mindste kvadrater anvendes på de vægtede data. $e^{T}Vi=\sum _{{t=1}}^{n}{\frac {e_{t}^{2}}{\sigma _{t}^{2}}}$

Se også

Noter

↑ Legendre, på de mindste kvadrater. Oversat fra fransk af professor Henry A. Ruger og professor Helen M. Walker, Teachers College, Columbia University, New York City. Arkiveret 7. januar 2011 på Wayback Machine
↑ Aleksandrova, 2008 , s. 102.
↑ Linnik, 1962 , s. 21.
↑ Magnus, Katyshev, Peresetsky, 2007 , RSS-betegnelse ikke forenet. RSS kan være forkortelse for regressionssum af kvadrater, og ESS kan være forkortelse for fejlsum af kvadrater, så RSS og ESS vil have den modsatte betydning. Med. 52. Udgaver af 2004..

Litteratur

Yu . V. Linnik Mindste kvadraters metode og grundlaget for den matematisk-statistiske teori om observationsbehandling. - 2. udg. - M. , 1962.(matematisk teori)
Ayvazyan S.A. Anvendt statistik. Grundlæggende om økonometri. Bind 2. - M . : Unity-Dana, 2001. - 432 s. - ISBN 5-238-00305-6 .
Dougherty K. Introduktion til økonometri: Pr. fra engelsk. - M. : INFRA-M, 1999. - 402 s. — ISBN 8-86225-458-7 .
Kremer N. Sh., Putko B. A. Økonometri. - M . : Unity-Dana, 2003-2004. — 311 s. — ISBN 8-86225-458-7 .
Magnus Ya. R., Katyshev P. K., Peresetsky A. A. Econometrics. Indledende kursus. - M . : Delo, 2007. - 504 s. - ISBN 978-5-7749-0473-0 .
Økonometri. Lærebog / Red. Eliseeva I. I. - 2. udg. - M. : Finans og statistik, 2006. - 576 s. — ISBN 5-279-02786-3 .
Aleksandrova N. V. Historie om matematiske termer, begreber, betegnelser: en referenceordbog. - 3. udg. - M . : LKI, 2008. - 248 s. - ISBN 978-5-382-00839-4 .
Vitkovsky V.V. Least squares // Encyclopedic Dictionary of Brockhaus and Efron : i 86 bind (82 bind og 4 yderligere). - Sankt Petersborg. , 1890-1907.
Mitin IV, Rusakov VS Analyse og bearbejdning af eksperimentelle data. — 5. udgave. — 24 sek.

Links

Online mindste kvadraters metode til afhængighed y = a + bx med beregning af koefficientfejl og autokorrelationsestimering.

Ordbøger og encyklopædier	Flot dansk stor kinesisk Fantastisk norsk Stor russer Brockhaus og Efron Ny
I bibliografiske kataloger	NDL : 00570033 NKC : ph135404

Mindste kvadrater og regressionsanalyse

Beregningsstatistik _

Mindste kvadratisk metode
Lineær MNC
Ikke-lineære mindste kvadrater
LSM med iterativ genberegning af vægte

Korrelation
og afhængighed

Pearson korrelationskoefficient
Rangkorrelation ( Spearman
Kendall )
Delvis korrelation
Forvrængende faktor

Regressions analyse

Almindelig MNC
Delvis mindste kvadraters metode
Mindst fulde kvadrater
Ridge regression

Regression som
statistisk
model

Lineær regression	Simpel lineær regression Almindelig MNC Generaliserede mindste kvadrater Vægtede mindste kvadrater Grundlæggende lineær model
forudsigende struktur	Polynomisk regression vækstkurve Segmenteret regression Lokal regression
Brugerdefineret regression	ikke-lineær Ikke-parametrisk semi-parametrisk bæredygtige kvantil isotonisk
Ikke- standardfejl	Generaliseret lineær model Binomial regression Poisson regression Logistisk regression

Variansnedbrydning

Analyse af varians
Kovariansanalyse
Multivariat variansanalyse

Modelstudie

C p Mallows
Trinvis regression
Valg af statistisk model
Validering af regressionsmodel

Forudsætninger

Gennemsnitlig og forventet respons
Gauss-Markovs sætning
Fejl og afvigelser
Statistisk test
Studentiseret balance
Minimum gennemsnitlig kvadratfejl

Eksperiment planlægning

Responsoverflademetodologi
Optimalt eksperimentdesign
Bayesiansk eksperimentdesign

Numerisk
tilnærmelse

Ansøgninger

Approksimation ved hjælp af kurver
Kalibreringskurve
Savitsky-Golay filter
System identifikation
Flytning af mindste kvadraters metode