Karhunen-Loeves sætning

Den aktuelle version af siden er endnu ikke blevet gennemgået af erfarne bidragydere og kan afvige væsentligt fra den version , der blev gennemgået den 19. oktober 2020; verifikation kræver 1 redigering .

Et vigtigt grundlæggende spørgsmål om diskretiseringsteori er spørgsmålet om volumen af en diskret beskrivelse af signaler, det vil sige antallet af basisfunktioner, der bruges til at repræsentere: $N$

a(t)=\sum _{{k=0}}^{{N-1}}\alpha _{{k}}\varphi _{{k}}(t)

For at finde det optimale grundlag skal du bestemme klassen af signaler, som det søges efter, og også indstille gendannelsesnøjagtigheden for denne klasse. I den statistiske tilgang til beskrivelsen af signaler anses det optimale dimensionsgrundlag for at repræsentere individuelle signalrealiseringer sædvanligvis for at være det grundlag, ved hvilket fejlraten, gennemsnittet over ensemblet af realisationer, er minimal. I dette tilfælde er de nødvendige og tilstrækkelige betingelser for minimum af fejlnormen for at repræsentere signalet som en sum af basisfunktioner bestemt af Karhunen-Loev-sætningen. $N$

Populær formulering

Minimumsværdien af fejlnormen i repræsentationen af signaler over et længdeinterval opnås ved brug af operatørens egne funktioner som grundlag, hvis kerne er korrelationsfunktionen af signaler : $T$ $R_{{a}}(t,\tau )$

\int _{{-{\frac {T}{2}}}}^{{{\frac {T}{2}}}}R_{{a}}(t,\tau )\varphi _{{ k}}(\tau )d\tau =\lambda _{{k}}\varphi _{{k}}(t)

svarende til de største egenværdier. I dette tilfælde er fejlprocenten: $N$

\|\epsilon \|_{{min}}^{{2}}=\|a(t)-\sum _{{k=0}}^{{N-1}}\alpha _{{k }}\varphi _{{k}}(t)\|_{{min}}^{{2}}=\sum _{{k=N}}^{{\infty }}\lambda _{{ k}}

En sådan nedbrydning er Karhunen-Loeve-nedbrydningen [1] [2] .

Ansøgning

I teorien om tilfældige processer er Karhunen-Loeve-sætningen (opkaldt efter Kari Karhunen og Michel Loeve ) en repræsentation af en tilfældig proces som en uendelig lineær kombination af ortogonale funktioner , svarende til repræsentationen af Fourierrækker - en sekventiel repræsentation af funktioner på et afgrænset interval. I modsætning til Fourierrækker, hvor koefficienterne er reelle tal, og repræsentationsgrundlaget består af sinusformede funktioner (det vil sige sinus- og cosinusfunktioner med forskellige frekvenser), er koefficienterne i Karhunen-Loeve-sætningen stokastiske variable, og repræsentationsgrundlaget afhænger af behandle. De ortogonale basisfunktioner, der bruges i denne repræsentation , definerer proceskovariansfunktionen . Hvis vi betragter en stokastisk proces som en tilfældig funktion F , det vil sige en proces, hvor funktionen på intervallet [ a , b ] får værdien F , så kan denne sætning ses som en tilfældig ortonormal udvidelse af F.

En centreret tilfældig proces { X t } t ∈ [ a , b ] (hvor centrering betyder, at de matematiske forventninger E( X t ) eksisterer og er lig med nul for alle værdier af parameteren t fra [ a , b ]) , som opfylder den tekniske betingelse om kontinuitet, tillader nedbrydning af følgende form:

{\mathbf {X}}_{t}=\sum _{{k=1}}^{\infty }{\mathbf {Z}}_{k}e_{k}(t).

hvor Z k er indbyrdes ukorrelerede stokastiske variable og funktioner e k er kontinuerte reelle funktioner på [ a , b ] ortogonalt i L ² [ a , b ]. Ved en ikke-centreret proces er der en tilsvarende udvidelse opnået ved at udvide forventningsfunktionen i basis e k .

Hvis processen er Gaussisk , så er de stokastiske variable Zk også Gaussiske og uafhængige . Dette resultat generaliserer Karhunen-Loeve- transformationerne . Et vigtigt eksempel på en centreret stokastisk proces på intervallet [0,1] er Wiener-processen , og Karhunen-Loeve-sætningen kan bruges til at opnå en kanonisk ortogonal repræsentation. I dette tilfælde består udvidelsen af sinusformede funktioner. ${\mathbf {X}}_{t}$

Ovenstående dekomponeringer i er også kendt som Karhunen-Loeve- nedbrydningerne eller dekomponeringen (empirisk version, dvs. med koefficienter fra de originale numeriske data), som hovedkomponentanalyse , korrekt ortogonal dekomponering eller Hotelling - transformationen .

Ordlyd

Lad os formulere resultatet i form af komplekst værdsatte stokastiske processer. Resultaterne kan anvendes på processer med reel værdi uden ændringer, idet man husker, at det komplekse konjugat af et reelt tal er det samme som sig selv.

For tilfældige elementer X og Y er skalarproduktet defineret af formlen

\langle {\mathbf {X}}|{\mathbf {Y}}\rangle =\operatørnavn {E}({\mathbf {X^{*}}}{\mathbf {Y}})

hvor * angiver den komplekse konjugationsoperation .

Anden ordens statistik

Punktproduktet er veldefineret, hvis begge og har endelige sekundmomenter, eller tilsvarende, hvis de begge er kvadratiske integrerbare . Bemærk, at prikproduktet er relateret til kovarians og korrelation . Især for tilfældige variable med et gennemsnit på nul er kovariansen og prikproduktet det samme. Autokovariansfunktion $x$ $Y$ $K_{{\mathrm {XX}}}$

K_{{\mathrm {XX}}}(t,s)=\operatørnavn {Cov}[X(t),X(s)]=\langle {\mathbf {X}}_{t}|{\mathbf {X}}_{s}\rangle

{\displaystyle =\mathrm {E} \{[X(t)-\mu _{X}(t)]^{*}[X(s)-\mu _{X}(s)]\))

=\mathrm {E} \{X^{*}(t)X(s)\}-\mu _{X}^{*}(t)\mu _{X}(s)

=R_{\mathrm {XX} }(t,s)-\mu _{X}^{*}(t)\mu _{X}(s).

Hvis processen { X t } t er centreret, så

\mu _{X}(t)=0

for alle t . Således er autokovariansen af K XX lig med autokorrelationen af R XX :

K_{\mathrm {XX} }(t,s)=R_{\mathrm {XX} }(t,s).

Bemærk, at hvis { X t } t er centreret og t 1 , ≤ t 2 , …, ≤ t N er punkter på intervallet [ a , b ], derfor

\sum _{{k,\ell }}\operatørnavn {Cov}_{({\mathbf {X}}}}(t_{k},t_{\ell })=\operatørnavn {Var}\left(\ sum _{{k=1}}^{N}{\mathbf {X}}_{k}\right)\geq 0.

Udtalelse af sætningen

Sætning . Overvej en centreret stokastisk proces indekseret på et interval med en kovariansfunktion . Lad os antage, at kovariansfunktionen er kontinuert i mængden af variable . Så er en positiv bestemt kerne, og ved Mercers sætning har integraloperatoren i (tæt på Lebesgue-målet på ) en ortonormal basis af egenvektorer. Lad være egenvektorer svarende til egenværdier uden nul og $\{{\mathbf {X}}_{t}\}$ $t$ $[a,b]$ ${\mathrm {Cov}}_{{{\mathbf {X}}}}$ ${\mathrm {Cov}}_{{{\mathbf {X}}}}(t,s)$ $t,s$ ${\mathrm {Cov}}_{{{\mathbf {X}}}}$ $T$ $L^{2}[a,b]$ $[a,b]$ $\{e_{i}\}$ $T$

{\mathbf {Z}}_{i}=\int _{a}^{b}{\mathbf {X}}_{t}e_{i}(t)dt.

Derefter er centreret ortogonale stokastiske variable og $Z_{i}$

{\mathbf {X}}_{t}=\sum _{{i=1}}^{\infty }e_{i}(t){\mathbf {Z}}_{i}

rækken konvergerer i middelkvadrat og også ensartet i . Udover $t$

\operatørnavn {Var}({\mathbf {Z}}_{i})=\operatørnavn {E}({\mathbf {Z}}_{i}^{2})=\lambda _{i}.

hvor er egenværdien svarende til egenvektoren . $\lambda _{i}$ $e_{i}$

Cauchy summer

I formuleringen af sætningen kan integralet i definitionen forstås som grænsen for gennemsnittet af Cauchy-summen af stokastiske variable. $Z_{i}$

\sum _{{k=0}}^{{\ell -1}}{\mathbf {X}}_({\xi _{k}}}e_{i}(\xi _{k})( t_{{k+1}}-t_{k}),

hvor

a=t_{0}\leq \xi _{0}\leq t_{1}\leq \cdots \leq \xi _{{\ell -1}}\leq t_{n}=b

Specialtilfælde: Gaussisk fordeling

Da den gennemsnitlige kvadratiske grænse for fælles Gaussiske stokastiske variable er Gaussiske, og fælles Gaussiske (centrerede) stokastiske variable er uafhængige, hvis og kun hvis de er ortogonale, kan vi også konkludere:

Sætning . Tilfældige variable har en Gauss-fordeling og er uafhængige, hvis den indledende proces { X t } t også er Gaussisk. $Z_{i}$

I det Gaussiske tilfælde, da de tilfældige variable er uafhængige, kan vi være sikre på, at: $Z_{i}$

\lim _{{N\rightarrow \infty }}\sum _{{i=1}}^{N}e_{i}(t){\mathbf {Z}}_{i}(\omega )={ \mathbf {X}}_{t}(\omega )

næsten sikkert.

Bemærk, at ved at generalisere Mercers sætning kan vi erstatte intervallet med andre kompakte rum , og Lebesgue-målet på med et Borel-mål understøttet i . $[a,b]$ $C$ $[a,b]$ $C$

Wiener proces

Wiener-processen i teorien om tilfældige processer er en matematisk model af Brownsk bevægelse eller tilfældig gang med kontinuerlig tid. Her definerer vi det som en centreret Gauss-proces B ( t ) med kovariansfunktion

{\mathrm {K}}_{{\mathrm {BB}}}(t,s)=\operatørnavn {Cov}(B(t),B(s))=\min(s,t).

Det er let at se, at kovariansegenvektorerne er

e_{k}(t)={\sqrt {2}}\sin \venstre(k-{\frac {1}{2}}\right)\pi t

og de tilsvarende egenværdier

\lambda _{k}={\frac {4}{(2k-1)^{2}\pi ^{2}}}.

Dette giver os mulighed for at få følgende repræsentation af Wiener-processen:

Sætning . Der er en sekvens { Wi } i af uafhængige Gaussiske stokastiske variable med nul middelværdi og enhedsvarians, således at

{\mathbf {B}}_{t}={\sqrt {2}}\sum _{{k=1}}^{\infty }{\mathbf {W}}_{k}{\frac {\ sin \left(k-{\frac {1}{2}}\right)\pi t}{\left(k-{\frac {1}{2}}\right)\pi }}.

Konvergensen er ensartet i t i L²-normen således, at

\operatørnavn {E}\left({\mathbf {B}}_{t}-{\sqrt {2}}\sum _{{k=1}}^{n}{\mathbf {W}}_{ k}{\frac {\sin \left(k-{\frac {1}{2}}\right)\pi t}{\left(k-{\frac {1}{2}}\right)\ pi }}\right)^{2}\rightarrow 0

ensartet i t .

Brug

Det er blevet foreslået, at SETI-projektet skulle bruge Karhunen-Loeve-transformationer til at detektere signaler med et meget bredt spektrum. Tilsvarende bruger adaptive optiksystemer nogle gange Karhunen-Loeve-funktioner til at gendanne information om bølgefrontens fase. (Dai 1996, JOSA A).

Se også

Noter

↑ Introduktion til digital billedbehandling, 1979 , s. 68.
↑ Signal Theory, 1974 , s. 115.

Litteratur

Yaroslavsky L.P. Introduktion til digital billedbehandling. - M . : Sovjetisk radio, 1979. - 312 s.
Franks L. Theory of Signals. - M . : Sovjetisk radio, 1974. - 399 s.