Neural gas

Udvidelse af neuralgas er en algoritme , der tillader adaptiv klyngning af inputdata, det vil sige ikke kun at opdele rummet i klynger, men også at bestemme det nødvendige antal af dem baseret på egenskaberne ved selve dataene. En ekspanderende neuralgas kræver ikke a priori information om dataene, såsom et skøn over antallet af klynger eller formen på klyngerne." [1] Dette er en ny klasse af computermekanismer. Antallet og placeringen af kunstige neuroner i funktionsrummet er ikke forudbestemt, men er resultatet af en beregning i færd med at træne modeller baseret på de data, der indtastes ved input [2] . I denne model er nabolaget af noder ikke fast, men ændres dynamisk, efterhånden som klyngedannelse forbedres. Variabler er ikke kun naboskabsrelationer, men også antallet af clusterneuroner.

Oprettelseshistorie

Der er teknikker, der er i stand til at vælge de mest lignende objekter i rummet og danne grupper ud fra dem. Under analysen er sættet af objekter organiseret i delmængder baseret på den lighed, der måles. Typisk er metoderne baseret på et standardskema: optimering af forholdet mellem det rumlige arrangement af vektorer og et sæt objekter, således at hver vektor bestemmer strukturen af klynger . De fleste teknikker har dog to væsentlige ulemper: Analysen afhænger af et givet antal klynger, og opdelingen i klynger er lokaliseret i tid. Alle moderne klyngemetoder var statiske og kunne ikke tilpasse resultaterne, hvis nye data blev tilføjet til dataene, var det nødvendigt at genudføre algoritmen.

Beskrivelse af algoritmen

Implementeringen af algoritmen starter med to neuroner. Så er der en sekventiel ændring (normalt i retning af stigende) af deres antal, samtidig skabes forbindelser mellem neuroner, der bedst svarer til fordelingen af inputvektorer. Hver neuron er tildelt en intern variabel, der akkumulerer en "lokal fejl". Forbindelser mellem noder er beskrevet af en variabel kaldet "alder" [3] .

Først oprettes to noder (herefter node=neuron) med vægtvektorer tilladt ved fordelingen af inputvektorer og lokale fejlværdier på nul;
Noderne er forbundet med et link, der kan bruges til at indstille alderen. I den indledende fase er alderen 0.
Derefter føres en vektor til input af det neurale netværk . ${\vec {X}}$
På det næste trin er der to neuroner og , tættest på ( tættere end ), det vil sige knudepunkter med vægtvektorer og , sådan er det minimum, og er den anden mindste afstandsværdi blandt alle knudepunkter. $S$ $T$ ${\vec {X}}$ $S$ $T$ ${\displaystyle {\vec {W_{s))))$ ${\displaystyle {\vec {W_{t))))$ $\left\|{\vec {W_{s}}}-{\vec {X}}\right\|$ $\left\|{\vec {W_{t}}}-{\vec {X}}\right\|$
Den lokale fejl for den nærmeste neuron, vinderen, opdateres , og kvadratet på afstanden mellem vektorerne og føjes til den . $S$ ${\displaystyle {\vec {W_{s))))$ ${\vec {X}}$ $E_{s}\Rightarrow E_{s}+\left\|{\vec {W_{s}}}-{\vec {X}}\right\|^{2}$
Når denne procedure implementeres, modtager de hyppigst vindende noder (det maksimale antal inputsignaler falder i deres nabolag) den største fejlværdi. Disse områder "fortættes" i første omgang, og dette sker på grund af tilføjelsen af nye noder.
Den vindende neuron og alle dens topologiske naboer (det vil sige alle neuroner , der har forbindelse med vinderen) forskydes mod inputvektoren med afstande svarende til fraktioner og fra den fulde. $S$ $N$ $\varepsilon_{w}$ $\varepsilon_{n}$ ${\vec {W_{s}}}\Rightarrow {\vec {W_{s}}}+\varepsilon _{w}({\vec {W_{s}}}-{\vec {X} })$ ${\vec {W_{n}}}\Rightarrow {\vec {W_{n}}}+\varepsilon _{n}({\vec {W_{n}}}-{\vec {X} })$

Hvis knudepunkterne på dette trin forskydes mod inputvektoren, har vinderen en tendens til at "gennemsnitte" sin position i forhold til inputsignalerne placeret i dens nærhed. I dette tilfælde "trækker" den bedste neuron lidt naboneuroner i retning af signalet.

Øg alderen med 1 på alle forbindelser, der stammer fra vinderen . $S$
Hvis de to bedste neuroner og er forbundet, så er det nødvendigt at nulstille alderen på deres forbindelse. Ellers skal du skabe en forbindelse mellem dem. $S$ $T$
Slet alle forhold, der er ældre end den maksimale alder. Neuroner, der ikke har forbindelser med andre noder, fjernes.
Hvis antallet af den aktuelle iteration er et multiplum af , og den maksimale netværksstørrelse ikke nås, er det nødvendigt at oprette en ny neuron i henhold til reglerne. Over tid, efter flere cyklusser af forskydninger, akkumuleres information, på grundlag af hvilken der træffes en beslutning om det sted, hvor en ny neuron skal tilføjes. Under denne proces korrigeres de variable fejl for alle neuroner i laget. Som et resultat "glemmer" netværket gamle inputvektorer og reagerer bedre på nye. Det bliver muligt at bruge Expanding Neural Gas til at justere det neurale netværk til langsomt driftende distributioner af inputsignaler. $\lambda$ $R$
Find neuronen med den maksimale lokale fejl. $U$
Bland naboerne , find neuronen med den største fejl. $U$ $V$
Opret en node "i midten" mellem og : $R$ $U$ $V$ ${\vec {W_{r}}}={\frac {{\vec {W_{u}}}+{\vec {W_{v}}}}{2}}$
Erstat forholdet mellem og med forholdet mellem og , og . $U$ $V$ $U$ $R$ $R$ $V$
Reducer neuronfejl og indstil værdien af neuronfejl . $U$ $V$ $R$ $E_{u}\Rightarrow E_{u}*a$ $E_{v}\Rightarrow E_{v}*a$ $E_{r}\Rightarrow E_{u}$
En stor værdi af denne fejl indikerer, at den tilsvarende neuron ligger i området for et lille antal neuroner.
Hver gang en neuron tættest på den bestemmes for en tilfældigt udvalgt, øges den lokale fejl for sidstnævnte . $x$ ${\displaystyle {\vec {W_{j))))$ $E_{j}$ $\left\|{\vec {W_{j}}}-{\vec {X}}\right\|^{2}$

Datastrukturformular

Forskeren kan selv indstille formen på klyngestrukturen, uanset om klyngningen skal udføres for en hypersfære , et hyperrør eller et hyperplan . Hvis han ikke har denne viden, kan du takket være værdien af hans egen kovariansmatrix bestemme den nødvendige form. Hvis strukturen har mindst én egenværdi mindre end den tærskel, brugeren har valgt, vil modellen være hyperlineær, ellers skal strukturen betragtes som en ikke-lineær manifold. Yderligere test vil vise, om modellen er formet som en kugle eller et rør. Testen for sfæricitet afhænger af opfyldelsen af uligheden np/na>ψ, hvor np er antallet af vektorer inde i klyngen, som findes ved hjælp af Jordan Brauer-sætningen [4] , og ap er overfladearealet af klynge, og ψ er en brugerspecificeret tærskel. Hvis denne ulighed har formen np/na<ψ, vil formen af klyngen være et "hyperrør". [3]

Afstand fra vektor X til neuroner i klynger af forskellige former

For en klynge i form af et hyperrør beregnes et radial afstandsmål:

hvor Aj er en positiv, bestemt matrix beregnet til at tage højde for hyperrørets excentricitet og orientering [5] . Værdien af Aj for denne ligning findes ved hjælp af Lowner-hyperlipsoiden ved hjælp af Khachiyan-algoritmen [6] .

For at bestemme afstande i et hyperplan skal du bruge følgende formel:

hvor Aj er en arbitrært positiv bestemt symmetrisk vægtmatrix. Og bj, k estimeres ved at finde egenvektorerne for modellens neurale knudepunkter.

For at bestemme afstanden i hypersfæren skal du bruge formlen:

hvor wi enten er middelværdien af vektorerne indeholdt i planet.

Datavisualisering

I 3D-rum er data meget nemme at visualisere. [3] Du kan se det på billedet.

Men hvis vores rum er større end tredimensionelt, så er datavisualisering vanskelig. For at løse dette problem anvendes en teknik baseret på moms [7] . Essensen af konstruktionen er, at modellens minimumspændende træ er fundet. Efter at sorteringsprocessen er afsluttet, kan klyngestrukturen analyseres ved firkanter nær diagonalen. Først beregnes normaliserede, parvis forskellige neuroner i hver isolerede graf. De forskellige neuroner omarrangeres derefter for at skabe den tætteste intracluster-fordeling. Derefter males hver klynge i sin egen farve og placeres langs hoveddiagonalen. Intracluster-forhold er også inkluderet i diagrammet, den maksimale afstand mellem to klynger er angivet med hvidt, og med sort den mindste afstand. Volumenet af klyngen kan tilføjes som en anden dimension, dette er højden af firkanterne.

Eksempel på ekspanderende neuralgas

Dette eksempel er givet for at demonstrere, hvordan systemet tilpasser sig, når nye data indtastes. Databasen består af 1050 punktobjekter. I begyndelsen blev der udført 5000 iterationer, og 75% af informationen kom ind i algoritmen. Efter at en lille del af 756 datapunkter var blevet indtastet i systemet, begyndte neurale vektorer at tilpasse sig til at danne fordelingen vist i figuren nedenfor.

Derefter blev yderligere 150 nye vektorer lanceret. Dette førte til dannelsen af en ny sfærisk klasse, angivet i figuren nedenfor:

På trods af den rumlige nærhed af de grønne og magenta klynger, bemærkede algoritmen en stigning i klynger og tilpassede sig disse ændringer. I dette tilfælde blev de resterende 120 objekter gentagne gange blandet mellem de grønne og magenta-klynger. Algoritmen fordelte efterfølgende data mellem de to klynger og beholdt det oprindelige antal klynger.

Noter

↑ Ordbog Neural.ru . Dato for adgang: 15. juni 2012. Arkiveret fra originalen 24. juli 2012. (ubestemt)
↑ Voksende neuralgas-implementering i MQL5-programmeringssproget . Hentet 15. juni 2012. Arkiveret fra originalen 16. juni 2012. (ubestemt)
↑ 1 2 3 Isaac J. Sledge, Growing Neural Gas for Temporal Clustering/IEEE, 2008
↑ M. Berg, M. Kreveld, M. Overmars, O. Schwarzkopf, Computational Geometry, Springer-Verlag, New York, 2000.
↑ G. Carpenter, "Competitive Learning: From Interactive Activation to Adaptive Resonance", Cognitive Science, vol. 11, 1987.
↑ L. Khachiyan, M. Todd, "On the Complexity of Approximating the Maximal Inscribed Ellipsoid for a Polytope", Math. Prog., 1993.
↑ J. Keller, I. Sledge, "A Cluster By Any Other Name", IEEE Proc., NAFIPS, 2007.

Se også

T. Martinetz, Neural Gas Network for Vector Organization og dets anvendelse på tidsserieforudsigelse/IEEE, vol. 4, 1993
T. Martinetz, Neural Gas Network lærer topologier.

Typer af kunstige neurale netværk

Feed-forward-netværk ( Netværk af radiale basisfunktioner )
Enkeltlags perceptron
Flerlagsperceptron ( Rosenblatt • Rumelhart )
Hopfield netværk
Markov kæde
Boltzmann maskine
Begrænset Boltzmann-maskine
Autoencoder ( Denoise autoencoder • Sparse autoencoder • Variationel autoencoder )
Dybt net af tillid
Konvolutionelt neuralt netværk
Deep Convolutional Neural Network
Udrulning af neuralt netværk
Deep Convolutional Inverse Graphic Network
Generativt modstridende netværk
Tilbagevendende neurale netværk
Rekursive neurale netværk
lang korttidshukommelse
Kontrolleret tilbagevendende blokering
Neurale Turing-maskiner
Tovejsnetværk ( Bidirektionalt tilbagevendende neuralt netværk • Tovejsnetværk med langtidshukommelse • Tovejskontrollerede tilbagevendende neuroner )
Deep Residual Network
Neural ekko netværk
Ekstrem læringsmetode
Metode til ustabile tilstande
Support vektor maskine
Kohonen netværk
Selvorganiserende kort over Kohonen
Kapsel neuralt netværk
Associativ hukommelse på neurale netværk

Machine learning og data mining
Opgaver	Klassificeringsproblem Læring uden lærer Lærerassisteret læring Regressions analyse AutoML Foreningens regler Feature Extraction Træning af træk Ranking træning Grammatisk afledning Online læring
At lære med en lærer	k-nærmeste nabo metode Naiv Bayes Classifier beslutningstræ Support vektor maskine Lineær regression Logistisk regression perceptron Ensembler af modeller Bagning boostning tilfældig skov Relevant vektormetode
klyngeanalyse	k-betyder metode Fuzzy klyngemetode Hierarkisk klyngedannelse EM algoritme BIRKE HELBREDE DBSCAN OPTIK Middel-forskydning
Dimensionalitetsreduktion	Faktoranalyse Hovedkomponentmetode CCA ICA LDA Ikke-negativ matrixudvidelse t-SNE
Strukturel prognose	Graf probabilistisk model Bayesiansk netværk Skjult Markov-model CRF
Anomali detektion	k-nærmeste nabo metode Lokalt emissionsniveau
Grafer sandsynlighedsmodeller	Bayesiansk netværk Markov netværk Skjult Markov-model
Neurale netværk	Begrænset Boltzmann-maskine selvorganiserende kort Aktiveringsfunktion Sigmoid softmax Radial basisfunktion Rygformeringsmetode Dyb læring Flerlagsperceptron Tilbagevendende neurale netværk lang korttidshukommelse Kontrolleret tilbagevendende blokering Konvolutionelt neuralt netværk U-Net Autoencoder
Forstærkende læring	Markov proces Bellmans ligning Grådig algoritme Q-læring SARSA Temporal forskel (TD)
Teori	Vapnik-Chervonenkis teori Bias-Dispersion Dilemma Beregningsmæssig læringsteori Empirisk risikominimering Occams læring PAC læring Statistisk læringsteori
Tidsskrifter og konferencer	NeurIPS ICML ML JMLR ArXiv:cs.LG