Gaussisk proces

Den aktuelle version af siden er endnu ikke blevet gennemgået af erfarne bidragydere og kan afvige væsentligt fra den version , der blev gennemgået den 23. august 2017; checks kræver 28 redigeringer .

I sandsynlighedsteori og statistik er en Gauss-proces en stokastisk proces (et sæt af tilfældige variable indekseret af en eller anden parameter, oftest tid eller koordinater), således at ethvert endeligt sæt af disse tilfældige variable har en multivariat normalfordeling , dvs. enhver finit lineær kombination af dem er normalfordelt. Fordelingen af en Gauss-proces er den fælles fordeling af alle dens stokastiske variable og er derfor en fordeling af funktioner med et kontinuerligt definitionsdomæne.

Hvis vi betragter den Gaussiske proces som en måde at løse maskinlæringsproblemer på, så bruges doven læring og et mål for lighed mellem punkter ( kernefunktion ) til at opnå en forudsigelse af værdien af et usynligt punkt fra træningsprøven. Forecast-begrebet omfatter udover selve punktestimatet information om usikkerhed - en endimensionel Gauss-fordeling. [en]

For at beregne forudsigelserne af nogle kernefunktioner bruges en matrixalgebrametode, kriging .

Gauss-processen er opkaldt efter Carl Friedrich Gauss , da den er baseret på konceptet om en Gauss-fordeling ( normalfordeling ). Den Gaussiske proces kan ses som en uendelig-dimensionel generalisering af multivariate normalfordelinger. Disse processer anvendes i statistisk modellering ; der anvendes især normalitetsegenskaber. For eksempel, hvis en tilfældig proces modelleres som en gaussisk, så kan fordelingen af forskellige afledte størrelser, såsom processens gennemsnitlige værdi over en vis tidsperiode og fejlen i dens estimering ved hjælp af en stikprøve af værdier, opnås eksplicit.

Definition

En tilfældig proces med kontinuerlig tid er Gaussisk, hvis og kun hvis for ethvert endeligt sæt af indekser fra sættet af indekser ${\displaystyle t_{1},\ldots ,t_{k))$ $T$

\mathbf {X} _{t_{1},\ldots ,t_{k}}=(\mathbf {X} _{t_{1}},\ldots ,\mathbf {X} _{t_{ k))

er en multidimensionel Gaussisk stokastisk variabel . [2] Det samme som enhver lineær kombination har en endimensionel normal (Gauss) fordeling. Ved at bruge de karakteristiske funktioner af stokastiske variabler kan den Gaussiske egenskab formuleres som følger: - Gaussisk, hvis og kun hvis der for ethvert endeligt sæt af indekser er reelle værdier , hvor sådanne for al ligheden $(\mathbf {X} _{t_{1)),\ldots ,\mathbf {X} _{t_{k)))$ $\left\{X_{t};t\in T\right\}$ ${\displaystyle t_{1},\ldots ,t_{k))$ ${\displaystyle \sigma _{\ell j))$ ${\displaystyle \mu _{\ell ))$ $\sigma _{jj}>0$ $s_{1},s_{2},\ldots ,s_{k}\in \mathbb {R}$

\operatorname {E} \left(\exp \left(i\ \sum _{\ell =1}^{k}s_{\ell }\ \mathbf {X} _{t_{\ell )) \right)\right)=\exp \left(-{\frac {1}{2}}\,\sum _{\ell ,j}\sigma _{\ell j}s_{\ell}s_{j }+i\sum _{\ell }\mu _{\ell }s_{\ell }\right).

Hvor er den imaginære enhed . $jeg$

Tallene og er henholdsvis kovarianserne og middelværdierne for variablerne i processerne. [3] ${\displaystyle \sigma _{\ell j))$ ${\displaystyle \mu _{\ell ))$

Kovariansfunktioner

Hovedtræk ved Gaussiske processer er, at de fuldstændigt kan bestemmes af andenordens statistik. [4] Derfor bestemmer kovariansfunktionen fuldstændig processens opførsel, hvis den matematiske forventning til Gauss-processen er lig nul. Det er vigtigt at bemærke, at den ikke-negative bestemthed af en funktion muliggør dens spektrale nedbrydning ved hjælp af Karhunen-Loeve-udvidelsen . Gennem kovariansfunktionen kan man bestemme processens stationaritet , isotropi , glathed og periodicitet . [4] [5]

Stationaritet udtrykker processens opførsel med hensyn til afstanden mellem to punkter og . Hvis processen er stationær, afhænger den af dens punkters relative position, afstanden mellem dem, ellers er den ikke-stationær, det vil sige, at den afhænger af punkternes faktiske position og . Et eksempel er et særligt tilfælde af Ornstein-Uhlenbeck-processen, processen med Brownsk bevægelse : den er stationær. $x$ $x'$ $xxx'$ $x$ $x'$

Hvis en proces kun afhænger af , den euklidiske afstand (ikke retning) mellem og , så siges processen at være isotrop. En stationær og isotrop proces kaldes homogen; [6] i praksis afspejler egenskaberne ved stationaritet og isotropi forskelle (eller rettere deres fravær) i processens adfærd, under hensyntagen til observatørens position. $|xxx'|$ $x$ $x'$

Essensen af Gaussiske processer er at opnå a priori sandsynlighedsfordelinger, hvis glathed afhænger af den taget kovariansfunktion. [4] Hvis vi forventer, at for "liggende tæt" inputpunkter og deres tilsvarende udgangspunkter og også "liggende tæt på", så er der en antagelse om kontinuitet af funktionen. Hvis vi vil tillade en signifikant bias, skal vi vælge en grovere kovariansfunktion. Eksempler på ekstrem adfærd omfatter Ornstein-Uhlenbeck kovariansfunktionen og den kvadratiske eksponentielle funktion, hvor førstnævnte intetsteds kan differentieres, og sidstnævnte er uendeligt differentierbar. $x$ $x'$ $y$ $y'$

Periodicitet forstås som induktion af periodiske mønstre i processens adfærd. Formelt opnås dette ved at kortlægge inputværdien til en todimensionel vektor $x$

$u(x)=(cos(x),sin(x)).$

Almindelige kovariansfunktioner

Der er en række almindelige kovariansfunktioner: [5]

Konstant: $K_{\operatørnavn {C} }(x,x')=C$
Lineær funktion: $K_{\operatørnavn {L} }(x,x')=x^{T}x'$
Gaussisk støj: $K_{\operatørnavn {GN} }(x,x')=\sigma ^{2}\delta _{x,x'}$
Kvadratisk eksponentiel funktion: ${\displaystyle K_{\operatørnavn {SE} }(x,x')=\exp {\Big (}-{\frac {\|d\|^{2)){2\ell ^{2))} {\Stor)))$
Ornstein-Uhlenbeck funktion: $K_{\operatørnavn {OU} }(x,x')=\exp \left(-{\frac {|d|}{\ell }}\right)$
Moder: ${\displaystyle K_{\operatorname {Matern} }(x,x')={\frac {2^{1-\nu }}{\Gamma (\nu))){\Big (}{\frac {{ \sqrt {2\nu }}|d|}{\ell }}{\Big )}^{\nu }K_{\nu }{\Big (}{\frac {{\sqrt {2\nu}} |d|}{\ell }}{\Big )))$
Periodisk funktion: $K_{\operatørnavn {P} }(x,x')=\exp \left(-{\frac {2\sin ^{2}\left({\frac {d}{2))\right )}{\ell ^{2}}}\right)$
Rationel kvadratisk funktion: $K_{\operatørnavn {RQ} }(x,x')=(1+|d|^{2})^{-\alpha },\quad \alpha \geq 0$

Her . Parameteren er karakteristisk for processens længdeskala (praktisk talt "hvor tæt" to punkter skal være for at påvirke hinanden markant), er Kronecker-symbolet og er standardafvigelsen for støjudsving. Derudover er en modificeret Bessel-funktion og er en gammafunktion beregnet ud fra . Det er vigtigt at bemærke, at en kompleks kovariansfunktion kan defineres som en lineær kombination af andre enklere kovariansfunktioner for at kombinere forskellig information om de tilgængelige datasæt. $d=xx'$ $\ell$ $x$ $x'$ $\delta$ $\sigma$ ${\displaystyle K_{\nu))$ $\nu$ $\Gamma (\nu )$ $\nu$

Det er klart, at de opnåede resultater afhænger af værdierne af hyperparametre (for eksempel og ), der bestemmer modellens adfærd. $\theta$ $\ell$ $\sigma$

Brownsk bevægelse som et integral af Gaussiske processer

Wienerprocessen (den såkaldte Brownske bevægelse) er et integral af Gaussisk hvid støjproces. Den er ikke stationær , men den har stationære trin.

Ornstein-Uhlenbeck-processen er en stationær Gauss-proces.

En Brownsk bro (svarende til Ornstein-Uhlenbeck-processen) er et eksempel på en Gauss-proces, hvis stigninger ikke er uafhængige .

Fraktionel Brownsk bevægelse er en Gauss-proces, hvis kovariansfunktion er en generalisering af Wiener-procesfunktionen.

Ansøgninger

Den Gaussiske proces kan bruges som den forudgående sandsynlighedsfordeling af funktioner i Bayesiansk inferens . [5] [8] For ethvert sæt af N punkter i det ønskede funktionsdomæne, tag en multivariat Gauss-fordeling, hvis kovariansmatrixparameter er Gram-determinanten for de N punkter taget med en ønsket kerne, og en prøve fra denne fordeling.

Udledningen af kontinuerte værdier baseret på Gauss-processen bestemt af de tidligere kovarianser er kendt som kriging (regression baseret på Gauss-processen). Derfor er Gaussiske processer nyttige som et kraftfuldt ikke-lineært multidimensionelt interpolationsværktøj . Gaussisk procesregression kan udvides yderligere til at løse både superviserede og uovervågede læringsproblemer ( selvlæring ) .

Gaussisk proces forudsigelse eller kriging

Når det kommer til det grundlæggende problem med regression baseret på den Gaussiske proces ( kriging ), antages det, at for en Gaussisk proces observeret i koordinater , er værdivektoren blot et af stikprøverne af en multivariat Gauss-fordeling, hvis dimension er lig med antal observerede koordinater . Derfor, under nulfordelingsantagelsen, , hvor er kovariansmatrixen mellem alle mulige par for et givet sæt hyperparametre . [5] Således er logaritmen af den marginale sandsynlighed lig med: $f$ $x$ $f(x)$ $|x|$ $f(x)\sim N(0,K(\theta ,x,x'))$ $K(\theta ,x,x')$ $(x,x')$ $\theta$

\log p(f(x)|\theta ,x)=-{\frac {1}{2}}f(x)^{T}K(\theta,x,x')^{- 1}f(x)-{\frac {1}{2}}\log \det(K(\theta ,x,x'))-{\frac {|x|}{2}}\log 2\ pi

og maksimering af denne marginale sandsynlighed med hensyn til giver en fuldstændig karakterisering af den Gaussiske proces . Det kan bemærkes, at det første udtryk afhænger af modellens manglende evne til at matche de observerede værdier, og det andet udtryk er direkte proportionalt med modellens kompleksitet. Efter at have angivet og lavet en forudsigelse om uobserverede værdier i koordinater , er det tilbage at tegne et plot af prøver fra den forudsigende fordeling , hvor det efterfølgende gennemsnitlige estimat er defineret som $\theta$ $f$ $\theta$ $f(x^{*})$ $x^{*}$ $p(y^{*}\mid x^{*},f(x),x)=N(y^{*}\midt A,B)$ $EN$

A=K(\theta,x^{*},x)K(\theta,x,x')^{-1}f(x)

og det efterfølgende estimat af variansen B er defineret som

B=K(\theta ,x^{*},x^{*})-K(\theta,x^{*},x)K(\theta,x,x')^{-1 }K(\theta ,x^{*},x)^{T}

hvor er kovariansen mellem det nye koordinatestimat og alle andre observerede koordinater for den givne hyperparametriske vektor , og er defineret som før, og er variansen i det punkt , som er dikteret af vektoren . Det er vigtigt at bemærke, at det efterfølgende middelestimat ("punktestimatet") er en lineær kombination af observationerne ; ligeledes er variansen reelt uafhængig af observationer . En kendt flaskehals i Gaussisk procesforudsigelse er, at den beregningsmæssige kompleksitet af forudsigelsen er kubisk i antallet af punkter , dvs. beregningen er muligvis ikke mulig for store datasæt. [4] For at komme uden om dette problem arbejdes der på sparsomme gaussiske processer, som normalt er baseret på ideen om at konstruere et repræsentativt sæt for en given proces . [9] [10] $K(\theta ,x^{*},x)$ $x^{*}$ $x$ $\theta$ $K(\theta ,x,x')$ $f(x)$ $K(\theta ,x^{*},x^{*})$ $x^{*}$ $\theta$ $f(x^{*})$ $f(x)$ $f(x^{*})$ $f(x)$ $|x|$ $f$

Se også

Noter

↑ Platypus Innovation: A Simple Intro to Gaussian Processes (et fantastisk datamodelleringsværktøj) . Hentet 15. januar 2018. Arkiveret fra originalen 1. maj 2018. (ubestemt)
↑ MacKay, David, J.C. Informationsteori, inferens og læringsalgoritmer . - Cambridge University Press , 2003. - S. 540. - ISBN 9780521642989 . . — ""Sandsynlighedsfordelingen af en funktion, hvis tæthedenfor et begrænset udvalg af punkter." $y(\mathbf {x} )$ ${\displaystyle \mathbf {x} ^{(1)},\mathbf {x} ^{(2)},\ldots ,\mathbf {x} ^{(N)))$ $P(y(\mathbf {x} ^{(1)}),y(\mathbf {x} ^{(2)}),\ldots ,y(\mathbf {x} ^{(N) }))$
↑ Dudley, R.M. Real Analysis and Probability. - Wadsworth og Brooks/Cole, 1989.
↑ 1 2 3 4 Barber, David. Bayesiansk ræsonnement og maskinlæring . - Cambridge University Press , 2012. - ISBN 978-0-521-51814-7 .
↑ 1 2 3 4 Rasmussen, CE; Williams, CKI Gaussiske processer til maskinlæring . - MIT Press , 2006. - ISBN 0-262-18253-X .
↑ Grimmett, Geoffrey; David Stirzaker. Sandsynlighed og tilfældige processer . - Oxford University Press , 2001. - ISBN 0198572220 .
↑ Dokumentationen til scikit-learn har også lignende eksempler Arkiveret 19. april 2021 på Wayback Machine .
↑ Liu, W.; Principe, JC; Haykin, S. Kernel Adaptive Filtering: A Comprehensive Introduction . - John Wiley , 2010. - ISBN 0-470-44753-2 . Arkiveret kopi (ikke tilgængeligt link) . Hentet 15. januar 2018. Arkiveret fra originalen 4. marts 2016. (ubestemt)
↑ Smola, AJ; Schoellkopf, B. Sparse greedy matrix approksimation for machine learning // Proceedings of the Seventeenth International Conference on Machine Learning: tidsskrift. - 2000. - S. 911-918 .
↑ Csato, L.; Opper, M. Sparse on-line Gaussiske processer // Neural Computation. - 2002. - Bd. 14 . - s. 641-668 . - doi : 10.1162/089976602317250933 .

Eksterne links

Software

STK: en lille (Matlab/Octave) værktøjskasse til Kriging og GP modellering
Kriging modul i UQLab framework (Matlab)
Matlab/oktav-funktion til stationære Gauss-felter
Yelp MOE – En sort boks-optimeringsmotor, der bruger Gaussisk proceslæring
ooDACE - En fleksibel objektorienteret Kriging matlab værktøjskasse.
GPstuff – Gaussisk procesværktøjskasse til Matlab og Octave
GPy – En Gaussisk processramme i Python
Interaktiv Gaussisk procesregression demo
Grundlæggende Gaussisk procesbibliotek skrevet i C++11
scikit-learn – Et maskinlæringsbibliotek til Python, som inkluderer Gaussisk procesregression og klassificering
[1] - Kriging toolKit (KriKit) er udviklet på Institut for Bio- og Geovidenskab 1 (IBG-1) i Forschungszentrum Jülich (FZJ)