Kovarians matrix

Kovariansmatrix (eller kovariansmatrix ) i sandsynlighedsteori er en matrix sammensat af parvise kovarianser af elementer af en eller to tilfældige vektorer .

Kovariansmatricen for en tilfældig vektor er en kvadratisk symmetrisk ikke-negativ bestemt matrix, på hvis diagonal varianserne af vektorkomponenterne er placeret, og de off-diagonale elementer er kovarianserne mellem komponenterne.

Kovariansmatricen for en tilfældig vektor er en multivariat analog af variansen af en tilfældig variabel for tilfældige vektorer. Kovariansmatricen af to tilfældige vektorer er en multidimensionel analog af kovariansen mellem to tilfældige variable.

I tilfælde af en normalfordelt tilfældig vektor bestemmer kovariansmatricen sammen med den matematiske forventning af denne vektor fuldstændigt dens fordeling (i analogi med det faktum, at den matematiske forventning og varians af en normalfordelt tilfældig variabel fuldstændig bestemmer dens fordeling)

Definitioner

Lad , være to tilfældige vektorer af dimension og , hhv. Lad også de stokastiske variable have et endeligt andet moment ( dispersion ) , dvs. Så kaldes vektorkovariansmatrixen ${\mathbf {X}}:\Omega \to {\mathbb {R}}^{n}$ ${\mathbf {Y}}:\Omega \to {\mathbb {R}}^{m}$ $n$ $m$ $X_{i},Y_{j},\;i=1,\ldots,n,\;j=1,\ldots,m$ $X_{i},Y_{j}\i L^{2}$ ${\mathbf {X}),{\mathbf {Y}}$

\Sigma ={\mathrm {cov}}({\mathbf {X}},{\mathbf {Y}})={\mathbb {E}}\venstre[({\mathbf {X}}-{\mathbb {E}}{\mathbf {X}})({\mathbf {Y}}-{\mathbb {E}}{\mathbf {Y}})^{{\top }}\right],

det er

\Sigma =(\sigma _{{ij}})

hvor

\sigma _{{ij))={\mathrm {cov}}(X_{i},Y_{j})\equiv {\mathbb {E}}\venstre[(X_{i}-{\mathbb {E }}X_{i})(Y_{j}-{\mathbb {E}}Y_{j})\right],\;i=1,\ldots ,n,\;j=1,\ldots ,m

{\mathbb {E}}

- matematisk forventning .

If , Da kaldes vektorkovariansmatrixen og betegnes med . [1] En sådan kovariansmatrix er en generalisering af variansen for en multivariat stokastisk variabel , og dens spor er et skalært udtryk for variansen af en multivariat stokastisk variabel . I denne forbindelse bruges notationen også - variansen af en tilfældig vektor. Egenvektorerne og egenværdierne af denne matrix gør det muligt at estimere størrelsen og formen af distributionsskyen for en sådan tilfældig variabel ved at tilnærme den med en ellipsoide (eller en ellipse i det todimensionale tilfælde). ${\mathbf {X}}\equiv {\mathbf {Y}}$ $\Sigma$ $\mathbf {X}$ ${\mathrm {cov}}({\mathbf {X}})$ $V(X)$

Egenskaber for kovariansmatricer

Stenografiformel til beregning af kovariansmatrixen:

{\mathrm {cov}}({\mathbf {X}})={\mathbb {E}}\venstre[{\mathbf {X}}{\mathbf {X}}^({\top }}\right ]-{\mathbb {E}}[{\mathbf {X}}]\cdot {\mathbb {E}}\venstre[{\mathbf {X}}^({\top }}\right]

Kovariansmatricen for en tilfældig vektor er ikke- negativt defineret [1] :

{\mathrm {cov}}({\mathbf {X}})\geq 0

Skalaændring:

{\mathrm {cov}}\left({\mathbf {a}}^{{\top }}{\mathbf {X}}\right)={\mathbf {a}}^{{\top }}{ \mathrm {cov}}({\mathbf {X}}){\mathbf {a}},\;\forall {\mathbf {a}}\in {\mathbb {R}}^{n}

Hvis tilfældige vektorer og er ukorrelerede ( ), så $\mathbf {X}$ $\mathbf {Y}$ ${\mathrm {cov}}({\mathbf {X}},{\mathbf {Y}})={\mathbf {0}}$

{\mathrm {cov}}({\mathbf {X}}+{\mathbf {Y}})={\mathrm {cov}}({\mathbf {X}})+{\mathbf {cov}}( {\mathbf {Y)))

Affin transformations kovariansmatrix :

{\mathrm {cov}}\left({\mathbf {A}}{\mathbf {X}}+{\mathbf {b}}\right)={\mathbf {A}}{\mathrm {cov}} ({\mathbf {X}}){\mathbf {A}}^{{\top }}

hvor er en vilkårlig matrix af størrelse , og . $\mathbf {A}$ $n\ gange n$ ${\mathbf {b}}\in {\mathbb {R}}^{n}$

Omarrangering af argumenter:

{\mathrm {cov}}({\mathbf {X}},{\mathbf {Y}})={\mathbf {cov}}({\mathbf {Y}},{\mathbf {X}})^ {{\top}}

Kovariansmatricen er additiv i hvert argument:

{\mathrm {cov}}({\mathbf {X}}_{1}+{\mathbf {X}}_{2},{\mathbf {Y}})={\mathbf {cov}}({ \mathbf {X}}_{1},{\mathbf {Y}})+{\mathrm {cov}}({\mathbf {X}}_{2},{\mathbf {Y}})

{\mathbf {cov}}({\mathbf {X}},{\mathbf {Y}}_{1}+{\mathbf {Y}}_{2})={\mathbf {cov}}({ \mathbf {X)),{\mathbf {Y}}_{1})+{\mathrm {cov}}({\mathbf {X}},{\mathbf {Y}}_{2})

Hvis og er uafhængige, så $\mathbf {X}$ $\mathbf {Y}$

{\mathrm {cov}}({\mathbf {X}},{\mathbf {Y}})={\mathbf {0}}

Betinget kovariansmatrix

Kovariansmatricen for en tilfældig vektor er en karakteristik af dens fordeling. I tilfælde af en (multivariat) normalfordeling bestemmer middelværdien af en vektor og dens kovariansmatrix fuldstændigt dens fordeling. Karakteristikaene for den betingede fordeling af en tilfældig vektor givet værdien af en anden tilfældig vektor er henholdsvis den betingede forventning ( regressionsfunktion ) og den betingede kovariansmatrix.

Lad tilfældige vektorer og få en fælles normalfordeling med matematiske forventninger , kovariansmatricer og kovariansmatrix . Det betyder, at den kombinerede tilfældige vektor følger en multivariat normalfordeling med en forventningsvektor og en kovariansmatrix, der kan repræsenteres som følgende blokmatrix $x$ $Y$ $\mu _{X},\mu _{Y}$ $V_{X},V_{Y}$ $C_{{XY}}$ ${\boldsymbol Z}={\begin{bmatrix}{\boldsymbol X}\\{\boldsymbol Y}\end{bmatrix}}$ ${\boldsymbol \mu }_{{Z))={\begin{bmatrix}{\boldsymbol \mu }_{X}\\{\boldsymbol \mu }_{Y}\end{bmatrix)),$

${\boldsymbol V}_{Z}={\begin{bmatrix}{\boldsymbol V}_{X}&{\boldsymbol C}_{{XY}}\\{\boldsymbol C}_{{YX}} &{\boldsymbol V}_{{Y}}\end{bmatrix}}$ hvor $C_{{YX}}=C_{{XY}}^{T}$

Så har den tilfældige vektor for en given værdi af den tilfældige vektor en normalfordeling (betinget) med følgende betingede forventnings- og betinget kovariansmatrix $Y$ $x$

$E(Y|X=x)=\mu _{Y}+C_{{YX}}V_{X}^{{-1}}(x-\mu _{X}),\qquad V(Y| X=x)=V_{Y}-C_{{YX}}V_{X}^{{-1}}C_{{XY}}$

Den første lighed definerer den lineære regressionsfunktion (afhængigheden af vektorens betingede forventning af den givne værdi x af den tilfældige vektor ), og matricen er matrixen af regressionskoefficienter. $Y$ $x$ $C_{{XY}}V^{{-1}}$

Den betingede kovariansmatrix er den tilfældige fejl kovariansmatrix af lineære regressioner af komponenterne i vektor for vektor . $Y$ $x$

I det tilfælde, hvor er en almindelig tilfældig variabel (en en-komponent vektor), er den betingede kovariansmatrix den betingede varians (i det væsentlige - den tilfældige fejl af regression på vektoren ) $Y$ $Y$ $x$

Noter

↑ 1 2 A. N. Shiryaev. Kapitel 2, §6. Random Variables II // Sandsynlighed. - 3. udg. - Cambridge, New York, ...: MTSNMO, 2004. - T. 1. - S. 301. - 520 s.