Radial basisfunktion

Den aktuelle version af siden er endnu ikke blevet gennemgået af erfarne bidragydere og kan afvige væsentligt fra den version , der blev gennemgået den 2. juni 2021; verifikation kræver 1 redigering .

Radial basisfunktion ( RBF ) er en funktion fra et sæt radiale funktioner af samme type, der bruges som en aktiveringsfunktion i et lag af et kunstigt neuralt netværk eller på anden måde, afhængigt af konteksten. En radial funktion er enhver reel funktion, hvis værdi kun afhænger af afstanden til origo eller af afstanden mellem et andet punkt kaldet centrum : . Normen er normalt den euklidiske afstand , selvom andre metrikker kan bruges . $\phi \left(\mathbf {x} \right)=\phi \left(\left\|\mathbf {x} \right\|\right)$ ${\mathbf {c}}$ $\phi \left(\mathbf {x} ,\mathbf {c} \right)=\phi \left(\left\|\mathbf {x} -\mathbf {c} \right\|\right)$

Lineære kombinationer af radiale basisfunktioner kan også bruges til at tilnærme en given funktion . Approksimation kan fortolkes som den enkleste form for neurale netværk ; det er i denne sammenhæng, at radiale basisfunktioner først blev defineret af David Broomhead og David Lowe i 1988 [1] [2] , baseret på Michael Powells banebrydende værk fra 1977 [3] [4] [5] .

Radial basisfunktioner bruges også som en kerne i understøttende vektormaskiner . [6]

Arter

Almindeligt anvendte radiale basisfunktioner inkluderer ( ): $r=\left\|\mathbf {x} -\mathbf {x} _{i}\right\|$

Gaussisk funktion : $\phi \left(r\right)=e^{-\left(\varepsilon r\right)^{2))$
Multiquadric: ${\displaystyle \phi \left(r\right)={\sqrt {1+\left(\varepsilon r\right)^{2))))$
Omvendt kvadratisk: ${\displaystyle \phi \left(r\right)={\dfrac {1}{1+\left(\varepsilon r\right)^{2))))$
Omvendt multikvadratisk: $\phi \left(r\right)={\dfrac {1}{\sqrt {1+\left(\varepsilon r\right)^{2))))$
Polyharmonisk spline : ${\begin{aligned}\phi \left(r\right)&=r^{k},&k&=1,3,5,\dotsc \\\phi \left(r\right)&=r ^{k}\ln \left(r\right),&k&=2,4,6,\dotsc \end{aligned}}$
Tynd plade spline (særlig polyharmonisk spline): $\phi \left(r\right)=r^{2}\ln \left(r\right)$

Tilnærmelse

For at tilnærme funktioner ved hjælp af radiale basisfunktioner tages deres lineære kombination af formen normalt:

y\left(\mathbf {x} \right)=\sum _{i=1}^{N}w_{i}\,\phi \left(\left\|\mathbf {x} -\ mathbf {x} _{i}\right\|\right)

hvor summen af radiale basisfunktioner med centre ved punkterne og koefficienter tages som den tilnærmende funktion . Koefficienterne kan beregnes ved hjælp af mindste kvadraters metode , da tilpasningsfunktionen er lineær i forhold til koefficienterne . $y\left(\mathbf {x} \right)$ $N$ ${\displaystyle \mathbf {x} _{i))$ $w_{{i}}$ $w_{{i}}$

Tilnærmelsesskemaer af denne art er særligt nyttige. i tidsserieprognoser , kontrol af ikke-lineære systemer , der udviser ret simpel kaotisk adfærd, og 3D-modellering i computergrafik .

Neurale netværk baseret på RBF

Lineær kombination:

y\left(\mathbf {x} \right)=\sum _{i=1}^{N}w_{i}\,\phi \left(\left\|\mathbf {x} -\ mathbf {x} _{i}\right\|\right)

kan også tolkes som det enkleste kunstige neurale netværk med ét lag, kaldet netværket af radiale basisfunktioner , hvor den radiale basisfunktion spiller rollen som en aktiveringsfunktion. Det kan påvises, at enhver kontinuerlig funktion på et kompakt interval i princippet kan interpoleres med vilkårlig nøjagtighed for tilstrækkeligt store . $N$

Approksimationen er differentierbar mht . Koefficienterne kan beregnes ved hjælp af enhver standard iterativ metode til neurale netværk. $y\left(\mathbf {x} \right)$ $w_{{i}}$

Radiale basisfunktioner giver således et fleksibelt interpolationsværktøj, forudsat at sættet af centre mere eller mindre ensartet dækker domænet for den ønskede funktion (ideelt set bør centrene være lige langt fra deres nærmeste naboer). Imidlertid opnår tilnærmelsen som regel kun høj nøjagtighed ved mellemliggende punkter, hvis sættet af radiale basisfunktioner suppleres med et polynomium ortogonalt til hver af RBF'erne.

Noter

↑ Radial Basis Function Networks Arkiveret 23. april 2014.
↑ Broomhead, Lowe, 1988 , s. 321-355
↑ Michael J. D. Powell; Michael JD Powell. Genstart procedurer for konjugeret gradientmetode // Matematisk programmering : journal. - Springer, 1977. - Vol. 12 . - S. 241-254 . - doi : 10.1007/bf01593790 .
↑ Sahin, Ferat (1997). En radial basisfunktionstilgang til et farvebilledeklassificeringsproblem i en industriel anvendelse i realtid (PDF) (M.Sc.). Virginia Tech . s. 26. Arkiveret fra originalen (PDF) 2015-10-26 . Hentet 2018-06-02 . Radiale basisfunktioner blev først introduceret af Powell for at løse det reelle multivariate interpolationsproblem. Forældet parameter brugt |deadlink=( hjælp )
↑ Broomhead, Lowe, 1988 , s. 347: "Vi vil gerne takke professor MJD Powell ved Institut for Anvendt Matematik og Teoretisk Fysik ved Cambridge University for at give den indledende stimulans til dette arbejde."
↑ VanderPlas, Jake Introduktion til support af vektormaskiner (link ikke tilgængeligt) . [O'Reilly] (6. maj 2015). Hentet 14. maj 2015. Arkiveret fra originalen 5. september 2015. (ubestemt)

Litteratur

Broomhead, David H.; Lowe, David. Multivariabel funktionel interpolation og adaptive netværk (engelsk) // Complex Systems : journal. - 1988. - Bd. 2 . - s. 321-355 . Arkiveret fra originalen den 14. juli 2014.
Buhmann, Martin D. (2003), Radial Basis Functions: Theory and Implementations , Cambridge University Press , ISBN 978-0-521-63338-3 .
Hardy, RL Multikvadriske ligninger af topografi og andre uregelmæssige overflader // Journal of Geophysical Research : journal. - 1971. - Bd. 76 , nr. 8 . - S. 1905-1915 . - doi : 10.1029/jb076i008p01905 . — .
Hardy, RL Teori og anvendelser af den multiquadric-biharmoniske metode, 20 years of Discovery, 1968 1988 // Comp . matematik Anvendelse: journal. - 1990. - Vol. 19 , nr. 8/9 . - S. 163-208 . - doi : 10.1016/0898-1221(90)90272-l .
Press, W.H.; Teukolsky, SA; Vetterling, WT & Flannery, BP (2007), afsnit 3.7.1. Radial Basis Function Interpolation , Numeriske opskrifter: The Art of Scientific Computing (3. udgave), New York: Cambridge University Press, ISBN 978-0-521-88068-8
Sirayanone, S., 1988, Komparative undersøgelser af kriging, multiquadric-biharmoniske og andre metoder til løsning af mineralressourceproblemet, Ph.D. Afhandling, MPEI. Geovidenskab, Iowa State University, Ames, Iowa.
Sirayanone, S. Den multikvadriske-biharmoniske metode som brugt til mineralressourcer, meteorologiske og andre applikationer // Journal of Applied Sciences and Computations: tidsskrift. - 1995. - Bd. 1 . - S. 437-475 .

Machine learning og data mining
Opgaver	Klassifikationsopgave Læring uden lærer Lærerassisteret læring Regressions analyse AutoML Foreningens regler Feature Extraction Træning af træk Ranking træning Grammatisk afledning Online læring
At lære med en lærer	k-nærmeste nabo metode Naiv Bayes Classifier beslutningstræ Support vektor maskine Lineær regression Logistisk regression perceptron Ensembler af modeller Bagning boostning tilfældig skov Relevant vektormetode
klyngeanalyse	k-betyder metode Fuzzy klyngemetode Hierarkisk klyngedannelse EM algoritme BIRKE HELBREDE DBSCAN OPTIK Middel-forskydning
Dimensionalitetsreduktion	Faktoranalyse Hovedkomponentmetode CCA ICA LDA Ikke-negativ matrixudvidelse t-SNE
Strukturel prognose	Graf probabilistisk model Bayesiansk netværk Skjult Markov-model CRF
Anomali detektion	k-nærmeste nabo metode Lokalt emissionsniveau
Grafer sandsynlighedsmodeller	Bayesiansk netværk Markov netværk Skjult Markov-model
Neurale netværk	Begrænset Boltzmann-maskine selvorganiserende kort Aktiveringsfunktion Sigmoid softmax Radial basisfunktion Rygformeringsmetode Dyb læring Flerlagsperceptron Tilbagevendende neurale netværk lang korttidshukommelse Kontrolleret tilbagevendende blokering Konvolutionelt neuralt netværk U-net Autoencoder
Forstærkende læring	Markov proces Bellmans ligning Grådig algoritme Q-læring SARSA Temporal forskel (TD)
Teori	Vapnik-Chervonenkis teori Bias-Dispersion Dilemma Beregningsmæssig læringsteori Empirisk risikominimering Occams læring PAC læring Statistisk læringsteori
Tidsskrifter og konferencer	NeurIPS ICML ML JMLR ArXiv:cs.LG