Neuralt netværk

Neuralt netværk [1] (også kunstigt neuralt netværk , ANN ) er en matematisk model , såvel som dens software- eller hardwareimplementering, bygget på princippet om organisering og funktion af biologiske neurale netværk - netværk af nerveceller i en levende organisme. Dette koncept opstod, når man studerede de processer, der forekommer i hjernen , og når man forsøgte at modellere disse processer. Det første sådant forsøg var W. McCullochs og W. Pitts ' neurale netværk [2] . Efter udviklingen af læringsalgoritmer begyndte de resulterende modeller at blive brugt til praktiske formål: i prognoseproblemer , til mønstergenkendelse , i kontrolproblemer osv .

ANN er et system af forbundne og interagerende simple processorer ( kunstige neuroner ). Sådanne processorer er normalt ret simple (især sammenlignet med de processorer, der bruges i personlige computere). Hver processor i et sådant netværk beskæftiger sig kun med de signaler, den periodisk modtager, og de signaler, den med jævne mellemrum sender til andre processorer. Og alligevel, idet de er forbundet i et tilstrækkeligt stort netværk med kontrolleret interaktion, er sådanne enkeltstående simple processorer sammen i stand til at udføre ret komplekse opgaver.

Fra et maskinlæringssynspunkt er et neuralt netværk et særligt tilfælde af mønstergenkendelsesmetoder , diskriminantanalyse ;
Matematisk er træning af neurale netværk et ikke - lineært optimeringsproblem med flere parametre ;
Fra et kybernetisk synspunkt bruges det neurale netværk i adaptive kontrolproblemer og som algoritmer til robotteknologi ;
Fra et synspunkt om udviklingen af computerteknologi og programmering er et neuralt netværk en måde at løse problemet med effektiv parallelisme [3] ;
Fra synspunktet kunstig intelligens er ANN grundlaget for den filosofiske strøm af forbindelseisme og hovedretningen i den strukturelle tilgang til at studere muligheden for at bygge (simulere) naturlig intelligens ved hjælp af computeralgoritmer .

Neurale netværk er ikke programmeret i ordets sædvanlige betydning, de er trænet [a] . Evnen til at lære er en af de vigtigste fordele ved neurale netværk i forhold til traditionelle algoritmer . Teknisk set handler læring om at finde koefficienterne for forbindelser mellem neuroner. I læringsprocessen er det neurale netværk i stand til at identificere komplekse afhængigheder mellem input og output, samt udføre generalisering . Dette betyder, at i tilfælde af vellykket træning, vil netværket være i stand til at returnere det korrekte resultat baseret på de data, der manglede i træningsprøven, såvel som ufuldstændige og/eller "støjende", delvist forvrængede data.

Kronologi

1943 - W. McCulloch og W. Pitts formaliserer begrebet et neuralt netværk i en grundlæggende artikel om den logiske beregning af ideer og nervøs aktivitet [2] . I begyndelsen af sit samarbejde med Pitts tilbyder N. Wiener ham vakuumrør som et middel til at implementere ækvivalenter til neurale netværk [5] .
1948 - N. Wieners bog om kybernetik blev udgivet. Hovedideen var repræsentationen af komplekse biologiske processer ved hjælp af matematiske modeller.
1949 - D. Hebb foreslår den første indlæringsalgoritme.
I 1958 opfinder F. Rosenblatt en enkeltlags perceptron og demonstrerer dens evne til at løse klassifikationsproblemer [6] . Perceptronen blev brugt til mønstergenkendelse og vejrudsigt. Da perceptronen blev opfundet, var uoverensstemmelsen mellem McCullochs teoretiske arbejde og Wieners "kybernetik" fuldstændig; McCulloch og hans tilhængere forlod Cybernetic Club.
I 1960 udviklede Bernard Widrow sammen med sin elev Hoff, baseret på deltareglen ( Widrow formler ), Adalin, som straks begyndte at blive brugt til forudsigelse og adaptive kontrolproblemer. Adalin blev bygget på grundlag af nye elementer skabt af dem (Widrow-Hoff) - memistorer [7] [8] .
I 1963 ved Institut for Informationstransmissionsproblemer ved USSR Academy of Sciences. A. P. Petrov studerer problemerne "vanskelige" for perceptronen [9] . M. M. Bongard stolede på dette arbejde inden for ANN-modellering i USSR i sit arbejde som "en relativt lille ændring af algoritmen (perceptron) for at rette op på dens mangler" [10] .
I 1969 offentliggjorde M. Minsky et formelt bevis for perceptronens afgrænsede karakter og viste, at den ikke var i stand til at løse nogle problemer (problemet med "paritet" og "en i blokken") forbundet med repræsentationernes invarians.
I 1972 foreslog T. Kohonen og J. Anderson uafhængigt af hinanden en ny type neurale netværk, der er i stand til at fungere som en hukommelse [11] .
I 1973 foreslog B. V. Khakimov en ikke-lineær model med synapser baseret på splines og implementerede den til at løse problemer inden for medicin, geologi og økologi [12] .
1974 - Paul J. Verbos [13] og Galushkin A. I. [14] opfinder samtidig en backpropagation- algoritme til træning af flerlagsperceptroner [15] .
1975 - Fukushima introducerer en kognitron - et selvorganiserende netværk designet til invariant mønstergenkendelse , men dette opnås kun ved at huske næsten alle tilstande i billedet.
1982 - J. Hopfield viste, at et neuralt netværk med feedback kan være et energiminimerende system ( Hopfield-netværk ). Kohonen præsenterer modeller af et uovervåget netværk ( Kohonens neurale netværk ), løsning af klyngeproblemer , datavisualisering ( Kohonens selvorganiserende kort ) og andre opgaver med foreløbig dataanalyse.
1986 - David I. Rumelhart , J.E. Hinton og Ronald J. Williams [16] såvel som uafhængigt og samtidigt S.I. Bartsev og V.A. Okhonin [17] genopdagede og udviklede metoden til fejltilbageformning .
2007 - Deep learning algoritmer til flerlags neurale netværk skabt af Jeffrey Hinton ved University of Toronto. Hinton brugte Restricted Boltzmann Machine (RBM) til at træne de nederste lag af netværket . Ifølge Hinton er det nødvendigt at bruge mange eksempler på genkendelige billeder (for eksempel mange ansigter af mennesker med forskellig baggrund). Efter træning opnås en færdiglavet hurtigt arbejdende applikation, der kan løse et specifikt problem (f.eks. søg efter ansigter i et billede).

Bemærkelsesværdige anvendelser

Mønstergenkendelse og klassificering

Genstande af forskellig karakter kan fungere som billeder: tekstsymboler, billeder, lydmønstre osv. Ved træning af netværket tilbydes forskellige mønstre af billeder med angivelse af, hvilken klasse de tilhører. En prøve er normalt repræsenteret som en vektor af funktionsværdier. I dette tilfælde skal helheden af alle funktioner entydigt bestemme den klasse , som prøven tilhører. Hvis der ikke er nok funktioner, kan netværket knytte den samme prøve til flere klasser, hvilket ikke er sandt. Ved afslutningen af netværkstræningen kan den præsenteres med hidtil ukendte billeder og få svar om tilhørsforhold til en bestemt klasse.

Topologien af et sådant netværk er karakteriseret ved, at antallet af neuroner i outputlaget normalt er lig med antallet af definerede klasser. Dette etablerer en overensstemmelse mellem outputtet af det neurale netværk og den klasse, det repræsenterer. Når et netværk præsenteres for et billede, skal et af dets output vise et tegn på, at billedet tilhører denne klasse. Samtidig skal andre udgange have et tegn på, at billedet ikke tilhører denne klasse [18] . Hvis to eller flere udgange har et tegn på at tilhøre en klasse, anses det for, at netværket er "ikke sikker" på sit svar.

Neurale netværksarkitekturer brugt

Træning med en lærer:
- perceptron
- Konvolutionelle neurale netværk

Læring uden lærer:
- Adaptive resonansnetværk

Blandet læring:
- Netværk af radiale basisfunktioner

Beslutningstagning og ledelse

Dette problem er tæt på problemet med klassificering. Situationer er underlagt klassificering, hvis karakteristika føres til input fra det neurale netværk. Ved udgangen af netværket skal der vises et tegn på den beslutning, det har truffet. I dette tilfælde bruges forskellige kriterier til beskrivelse af tilstanden af det kontrollerede system som indgangssignaler [19] .

Clustering

Clustering refererer til opdelingen af et sæt indgangssignaler i klasser, på trods af at hverken antallet eller karakteristika af klasserne er kendt på forhånd. Efter træning er et sådant netværk i stand til at bestemme, hvilken klasse indgangssignalet tilhører. Netværket kan også signalere, at inputsignalet ikke tilhører nogen af de valgte klasser - dette er et tegn på, at der mangler nye data fra træningsprøven. Således kan et sådant netværk detektere nye, hidtil ukendte klasser af signaler . Korrespondancen mellem de klasser, der er identificeret af netværket, og de klasser, der findes i fagområdet, etableres af en person. Clustering udføres for eksempel af Kohonen neurale netværk .

Neurale netværk i Kohonens simple version kan ikke være enorme, så de er opdelt i hyperlag (hyperkolonner) og kerner (mikrokolonner). Sammenlignet med den menneskelige hjerne bør det ideelle antal parallelle lag ikke overstige 112. Disse lag udgør til gengæld hyperlag (hyperkolonner), hvori der er fra 500 til 2000 mikrosøjler (kerner). Derudover er hvert lag opdelt i et sæt hyperkolonner, der trænger gennem disse lag. Mikrokolonnerne er kodet med cifre og enheder med resultatet opnået ved udgangen. Om nødvendigt fjernes eller tilføjes ekstra lag og neuroner. Det er ideelt at bruge en supercomputer til at vælge antallet af neuroner og lag. Et sådant system tillader neurale netværk at være plastiske.

Neurale netværksarkitekturer brugt

Læring uden lærer:

Forecasting

Et neuralt netværks evne til at forudsige følger direkte af dets evne til at generalisere og fremhæve skjulte afhængigheder mellem input- og outputdata. Efter træning er netværket i stand til at forudsige den fremtidige værdi af en bestemt sekvens baseret på flere tidligere værdier og (eller) nogle aktuelt eksisterende faktorer. Forecasting er kun mulig, når de tidligere ændringer virkelig forudbestemmer fremtiden til en vis grad . For eksempel kan forudsigelse af aktiekurser baseret på sidste uges aktiekurser være succesfuld eller måske ikke, mens forudsigelse af morgendagens lotteriresultater baseret på data fra de seneste 50 år næsten helt sikkert vil mislykkes.

Neurale netværksarkitekturer brugt

Træning med en lærer:

perceptron

Blandet læring:

Netværk af radiale basisfunktioner

Tilnærmelse

Neurale netværk kan tilnærme kontinuerlige funktioner. En generaliseret tilnærmelsessætning [ 20] blev bevist : ved hjælp af lineære operationer og en kaskadeforbindelse er det muligt at opnå en enhed fra et vilkårligt ikke-lineært element, der beregner enhver kontinuerlig funktion med en forudbestemt nøjagtighed . Dette betyder, at den ikke-lineære karakteristik af en neuron kan være vilkårlig: fra sigmoid til vilkårlig bølgepakke eller wavelet , sinus eller polynomium . Kompleksiteten af et bestemt netværk kan afhænge af valget af en ikke-lineær funktion , men med enhver ikke-linearitet forbliver netværket en universel approksimator og kan med det rigtige valg af struktur nøjagtigt tilnærme funktionen af enhver kontinuerlig automat.

Neurale netværksarkitekturer brugt

Træning med en lærer:

perceptron

Blandet læring:

Netværk af radiale basisfunktioner

Datakomprimering og associativ hukommelse

Neurale netværks evne til at identificere relationer mellem forskellige parametre gør det muligt at udtrykke højdimensionelle data mere kompakt, hvis dataene er tæt forbundet med hinanden. Den omvendte proces - gendannelse af det originale datasæt fra et stykke information - kaldes (auto)associativ hukommelse. Associativ hukommelse giver dig også mulighed for at gendanne det originale signal/billede fra støjende/beskadigede inputdata. Løsning af problemet med heteroassociativ hukommelse gør det muligt at implementere indholdsadresserbar hukommelse [19] .

Dataanalyse

Neurale netværksarkitekturer brugt

Træning med en lærer:

perceptron

Læring uden lærer:

Optimering

Neurale netværksarkitekturer brugt

Læring uden lærer:

Stadier af problemløsning

Dataindsamling til træning;
Dataforberedelse og normalisering;
Valg af netværkstopologi;
Eksperimentel udvælgelse af netværkskarakteristika;
Eksperimentel udvælgelse af træningsparametre;
egentlig træning;
Kontrol af tilstrækkeligheden af uddannelse;
Parameterjustering, afsluttende træning;
Netværksverbalisering [ 21] til videre brug.

Nogle af disse trin bør overvejes mere detaljeret.

Dataindsamling til træning

Valget af data til netværkstræning og deres behandling er det sværeste trin i løsningen af problemet. Træningsdatasættet skal opfylde flere kriterier:

Repræsentativitet - data skal illustrere den sande situation inden for emneområdet;
Konsistens − Inkonsistente data i træningssættet vil resultere i dårlig netværkstræningskvalitet.

De indledende data konverteres til den form, hvor de kan sendes til netværkets input. Hver indtastning i datafilen kaldes et træningspar eller en træningsvektor . Træningsvektoren indeholder én værdi for hver netværksinput og, afhængigt af træningstypen (overvåget eller ikke-overvåget), én værdi for hver netværksoutput. Træning af et netværk på et "råt" sæt giver som regel ikke resultater af høj kvalitet. Der er en række måder at forbedre "opfattelsen" af netværket.

Normalisering udføres, når data af forskellige dimensioner føres til forskellige input. For eksempel føres værdier med værdier fra nul til én til den første indgang på netværket, og værdier fra hundrede til tusind føres til den anden indgang. I mangel af normalisering vil værdierne ved det andet input altid have en væsentlig større indflydelse på netværkets output end værdierne ved det første input. Ved normalisering bringes dimensionerne af alle input- og outputdata sammen;
Kvantisering udføres på kontinuerlige mængder, for hvilke der er tildelt et endeligt sæt af diskrete værdier. For eksempel bruges kvantisering til at indstille frekvenserne af lydsignaler i talegenkendelse;
Filtrering udføres for "støjende" data.

Derudover spiller præsentationen af både input- og outputdata en vigtig rolle. Antag, at netværket er trænet til at genkende bogstaver i billeder og har ét numerisk output - bogstavets nummer i alfabetet. I dette tilfælde vil netværket få det falske indtryk, at bogstaverne nummereret 1 og 2 er mere ens end bogstaverne nummereret 1 og 3, hvilket generelt ikke er sandt. For at undgå en sådan situation anvendes en netværkstopologi med et stort antal udgange, når hver udgang har sin egen betydning. Jo flere output i netværket, jo større er afstanden mellem klasserne, og jo sværere er det at forveksle dem.

Valg af netværkstopologi

Netværkstypen bør vælges ud fra problemformuleringen og de tilgængelige træningsdata. Superviseret læring kræver en "ekspert" vurdering for hvert element i prøven. Nogle gange er det simpelthen umuligt at opnå et sådant skøn for en stor mængde data. I disse tilfælde er et naturligt valg et uovervåget læringsnetværk (f.eks. Kohonen selvorganiserende kort eller Hopfield neurale netværk ). Ved løsning af andre problemer (såsom tidsserieprognoser), er ekspertvurdering allerede indeholdt i de originale data og kan udtrækkes under behandlingen. I dette tilfælde kan du bruge en flerlagsperceptron[ klargør ] eller Word-netværket .

Eksperimentelt valg af netværkskarakteristika

Efter at have valgt den generelle struktur er det nødvendigt at eksperimentelt vælge netværksparametrene. For netværk som en perceptron vil dette være antallet af lag, antallet af blokke i skjulte lag (for Word-netværk), tilstedeværelsen eller fraværet af bypass-forbindelser og neuronernes overførselsfunktioner. Når man vælger antallet af lag og neuroner i dem, skal man tage udgangspunkt i, at netværkets evne til at generalisere er jo højere, jo større er det samlede antal forbindelser mellem neuroner . På den anden side begrænses antallet af forbindelser ovenfra af antallet af poster i træningsdataene.

Eksperimentelt valg af læringsparametre

Efter at have valgt en specifik topologi er det nødvendigt at vælge træningsparametrene for det neurale netværk. Dette trin er især vigtigt for overvågede netværk . Det korrekte valg af parametre bestemmer ikke kun, hvor hurtigt netværkets svar vil konvergere til de korrekte svar. For eksempel vil valg af en lav indlæringshastighed øge konvergenstiden, men nogle gange undgå netværkslammelse . Forøgelse af indlæringsmomentet kan enten øge eller mindske konvergenstiden, afhængigt af formen på fejloverfladen . Baseret på en sådan modstridende påvirkning af parametrene kan det konkluderes, at deres værdier skal vælges eksperimentelt, styret af læringsgennemførelseskriteriet (for eksempel at minimere fejlen eller begrænse træningstiden).

Netværkstræning

Under læringsprocessen scanner netværket træningsprøven i en bestemt rækkefølge. Gennemsynsrækkefølgen kan være sekventiel, tilfældig osv. Nogle ikke-overvågede netværk ( f.eks. Hopfield-netværk ) scanner prøven kun én gang. Andre (såsom Kohonen-netværk ), såvel som overvågede netværk, scanner prøven mange gange, hvor en hel gennemgang af prøven kaldes en læringsepoke . Når du lærer med en lærer, er sættet af indledende data opdelt i to dele - selve træningsprøven og testdata; princippet om adskillelse kan være vilkårligt. Træningsdataene føres til netværket til træning, og testdataene bruges til at beregne netværkets fejl (testdataene bruges aldrig til at træne netværket). Hvis fejlen falder på testdataene, generaliserer netværket således. Hvis fejlen på træningsdataene fortsætter med at falde, og fejlen på testdataene stiger, så er netværket holdt op med at generalisere og "husker" simpelthen træningsdataene. Dette fænomen kaldes netværksoverfitting eller overfitting . I sådanne tilfælde stoppes træningen normalt. Under træningsprocessen kan der opstå andre problemer, såsom lammelse eller netværket kommer ind i et lokalt minimum af fejloverfladen. Det er umuligt på forhånd at forudsige manifestationen af et bestemt problem, samt at give utvetydige anbefalinger til deres løsning.

Alt ovenstående gælder kun for iterative algoritmer til at finde neurale netværksløsninger. For dem kan intet rigtig garanteres, og det er umuligt fuldt ud at automatisere træningen af neurale netværk. Men sammen med iterative læringsalgoritmer er der ikke-iterative algoritmer, der har meget høj stabilitet og giver dig mulighed for at automatisere læringsprocessen fuldt ud .

Kontrol af tilstrækkeligheden af uddannelse

Selv i tilfælde af vellykket træning ved første øjekast lærer netværket ikke altid præcis, hvad skaberen ønskede fra det. Der er et kendt tilfælde, hvor netværket blev trænet til at genkende billeder af kampvogne fra fotografier, men senere viste det sig, at alle kampvognene var fotograferet på samme baggrund. Som et resultat "lærte" netværket at genkende denne type terræn i stedet for at "lære" at genkende tanke [22] . Netværket "forstår" således ikke, hvad der kræves af det, men hvad der er lettest at generalisere.

Test af kvaliteten af neurale netværkstræning bør udføres på eksempler, der ikke deltog i træningen. Antallet af testcases bør være jo større, jo højere kvaliteten af træningen er. Hvis neurale netværksfejl har en sandsynlighed tæt på en milliardtedel, så skal der en milliard testcases til for at bekræfte denne sandsynlighed. Det viser sig, at test af veltrænede neurale netværk bliver en meget vanskelig opgave.

Klassificering efter type inputinformation

Analoge neurale netværk (brug information i form af reelle tal);
Binære neurale netværk (fungerer med information præsenteret i binær form);
Figurative neurale netværk (fungerer med information præsenteret i form af billeder: tegn, hieroglyffer, symboler).

Klassificering efter uddannelsens art

Overvåget læring - outputbeslutningsrummet for det neurale netværk er kendt;
Uovervåget læring − Et neuralt netværk genererer kun et outputbeslutningsrum baseret på inputhandlinger. Sådanne netværk kaldes selvorganiserende;
Forstærkende læring er et system til at tildele bøder og belønninger fra omgivelserne.

Klassificering i henhold til arten af synapse-tuning

Netværk med faste forbindelser (vægtene af det neurale netværk vælges straks, baseret på betingelserne for problemet, mens: , hvor W er netværkets vægte); ${\boldsymbol {d}}W/dt=0$
Netværk med dynamiske forbindelser (for dem, under læringsprocessen, justeres synaptiske forbindelser, det vil sige , hvor W er netværkets vægtkoefficienter). ${\boldsymbol {d}}W/dt\ikke =0$

Klassificering efter signaltransmissionstid

I en række neurale netværk kan aktiveringsfunktionen ikke kun afhænge af vægtkoefficienterne for forbindelser , men også af tidspunktet for transmission af en impuls (signal) gennem kommunikationskanaler . Derfor har den aktiverende (overførende) funktion af forbindelsen fra element til element generelt formen: . Så er et synkront netværk et sådant netværk, hvor transmissionstiden for hver forbindelse enten er nul eller en fast konstant . Et asynkront netværk er et netværk, hvor transmissionstiden for hver forbindelse mellem elementer er forskellig , men også konstant. $w_{ij}$ $\tau_{ij}$ $c_{ij}$ $u_{i}$ $u_{j}$ $c_{ij}^{*}=f[w_{ij}(t),u_{i}^{*}(t-\tau _{ij})]$ $\tau_{ij}$ $\tau$ $\tau_{ij}$ $u_{i}$ $u_{j}$

Klassificering efter arten af forbindelserne

Feed-forward neurale netværk

I feedforward neurale netværk er alle forbindelser rettet strengt fra inputneuroner til outputneuroner. Eksempler på sådanne netværk er Rosenblatts perceptron , flerlagsperceptron , Word-netværk .

Tilbagevendende neurale netværk

Signalet fra outputneuronerne eller skjulte lagneuroner transmitteres delvist tilbage til inputneuronerne i inputlaget ( feedback ). Det tilbagevendende Hopfield-netværk "filtrerer" inputdataene, vender tilbage til en stabil tilstand og gør det således muligt at løse problemerne med datakomprimering og opbygning af associativ hukommelse [23] . Tovejsnetværk er et særligt tilfælde af tilbagevendende netværk. I sådanne netværk er der forbindelser mellem lag både i retningen fra inputlaget til outputlaget og i den modsatte retning. Et klassisk eksempel er Cosco Neural Network .

Radial basisfunktioner

Der er udviklet neurale netværk, der bruger radial-basic (også kaldet RBF) netværk som aktiveringsfunktioner. Generelt billede af den radiale basisfunktion:

$f(x)=\phi \left({\frac {x^{2}}{\sigma ^{2}}}\right)$ , for eksempel, $f(x)=e^{-{{x^{2}} \over {\sigma ^{2}}}},$

hvor er vektoren af neuron inputsignaler, er bredden af funktionsvinduet, er en faldende funktion (oftest lig med nul uden for et bestemt segment). $x$ $\sigma$ $\phi (y)$

Det radiale-basiske netværk er kendetegnet ved tre funktioner:

Det eneste skjulte lag;
Kun neuroner i det skjulte lag har en ikke-lineær aktiveringsfunktion;
De synaptiske vægte af forbindelserne mellem input og skjulte lag er lig med én.

Selvorganiserende kort

Sådanne netværk er et uovervåget konkurrencedygtigt neuralt netværk , der udfører opgaven med visualisering og klyngedannelse . Det er en metode til at projicere et multidimensionelt rum ind i et rum med en lavere dimension (oftest todimensionelt), det bruges også til at løse problemer med modellering, prognoser osv. Det er en af versionerne af Kohonens neurale netværk [ 24] . Kohonens selvorganiserende kort tjener primært til visualisering og indledende ("rekognoscering") dataanalyse [25] .

Signalet til Kohonen-netværket går til alle neuroner på én gang, vægten af de tilsvarende synapser fortolkes som koordinater for nodens position, og udgangssignalet dannes efter princippet om "vinderen tager alt" - det vil sige neuron nærmest (i betydningen synapsevægte) på inputsignalet har et udgangssignalobjekt, der ikke er nul. Under indlæringsprocessen justeres synapsevægte på en sådan måde, at gitterknuderne er "placeret" på steder med lokal datakondensering, det vil sige, at de beskriver klyngestrukturen af dataskyen, på den anden side forbindelserne mellem neuroner svarer til naborelationerne mellem de tilsvarende klynger i featurerummet.

Det er praktisk at betragte sådanne kort som todimensionale gitter af noder placeret i et flerdimensionelt rum. I første omgang er et selvorganiserende kort et gitter af noder forbundet med links. Kohonen overvejede to muligheder for at forbinde noder - i et rektangulært og sekskantet gitter - forskellen er, at i et rektangulært gitter er hver node forbundet med 4 naboknuder, og i en sekskantet - til seks nærmeste noder. For to sådanne net adskiller processen med at konstruere et Kohonen-netværk sig kun på det sted, hvor de nærmeste naboer til en given knude krydses.

Den indledende indlejring af gitteret i datarummet vælges vilkårligt. Forfatterens SOM_PAK-pakke tilbyder muligheder for en tilfældig indledende placering af noder i rummet og en variant for placering af noder i et plan. Derefter begynder noderne at bevæge sig i rummet i henhold til følgende algoritme:

Et datapunkt vælges tilfældigt . $x$
Den nærmeste kortknude (BMU - Best Matching Unit) bestemmes. $x$
Denne node flytter det givne trin mod . Den bevæger sig dog ikke alene, men medbringer et vist antal nærmeste knudepunkter fra et eller andet kvarter på kortet. Af alle bevægelige noder er den centrale node tættest på datapunktet stærkest forskudt, og resten oplever de mindre forskydninger, jo længere de er fra BMU'en. Der er to stadier i kortjustering - stadiet med ru ( bestilling ) og stadiet med finjustering ( finjustering ). I den første fase vælges store værdier af kvartererne, og bevægelsen af noder er af kollektiv karakter - som et resultat "spreder kortet sig ud" og groft afspejler datastrukturen; på finjusteringsstadiet er nabolagets radius 1-2, og nodernes individuelle positioner er allerede justeret. Derudover falder biasværdien ensartet med tiden, det vil sige, at den er stor i begyndelsen af hvert af træningstrinene og tæt på nul ved slutningen. $x$
Algoritmen gentages i et vist antal epoker (det er klart, at antallet af trin kan variere meget afhængigt af opgaven).

Kendte netværkstyper

Perceptron Rosenblatt ;
Spline model af Khakimov ;
Rosenblatt flerlagsperceptron ;
Rumelharts flerlagsperceptron ;
Jordan netværk ;
Elman netværk ;
Hamming netværk ;
Word-netværket ;
Hopfield netværk ;
Kohonen netværk ;
Neurongas [26] ;
Cognitron ;
Neocognitron ;
Kaotisk neuralt netværk ;
Oscillerende neurale netværk ;
Modformeringsnetværk ;
Netværk af radiale basisfunktioner (RBF-netværk);
Generaliseret regressionsnetværk ;
D. Smirnovs netværk ;
Probabilistisk netværk ;
Reshetovs probabilistiske neurale netværk ;
Siamesisk neuralt netværk ;
Adaptive Resonance Networks ;
Convolutional neural network ( eng. convolutional neural network );
Fuzzy flerlagsperceptron ;
Puls-neuralt netværk .

Forskelle fra von Neumann arkitekturmaskiner

Computersystemer baseret på neurale netværk har en række kvaliteter, der er fraværende i maskiner med von Neumann-arkitektur (men iboende i den menneskelige hjerne):

Bulk samtidighed ;
Distribueret repræsentation af information og beregning ;
Evne til at lære og generalisere;
tilpasningsevne ;
Ejendom af kontekstuel informationsbehandling;
fejltolerance ;
Lavt strømforbrug.

Eksempler på brug

Forudsigelse af finansielle tidsserier

Inputdata er aktiekursen for året. Opgaven er at fastlægge morgendagens kurs. Følgende transformation udføres - kurset for i dag, i går, i forgårs er linet op. Den næste række forskydes efter dato med én dag og så videre. På det resulterende sæt trænes et netværk med 3 indgange og en udgang - det vil sige output: kurs til dato, input: kurs til dato minus 1 dag, minus 2 dage, minus 3 dage. Det trænede netværk bliver fodret med kursen for i dag, i går, i forgårs og får svaret for i morgen. I dette tilfælde vil netværket vise afhængigheden af en parameter af de tre foregående. Hvis det er ønskeligt at tage højde for en anden parameter (for eksempel det generelle indeks for industrien), så skal det tilføjes som input (og inkluderes i eksemplerne), genoptræne netværket og få nye resultater. For den mest præcise træning er det værd at bruge ORO-metoden , som den mest forudsigelige og nemme at implementere.

Psykodiagnostik

En række værker af M. G. Dorrer og medforfattere er viet til undersøgelsen af muligheden for at udvikle psykologisk intuition i neurale netværksekspertsystemer [ 27] [28] . De opnåede resultater giver en tilgang til at afsløre intuitionsmekanismen i neurale netværk, som manifesterer sig, når de løser psykodiagnostiske problemer. Der er skabt en intuitiv tilgang til psykodiagnostik , som ikke er standard for computermetoder , som består i at udelukke konstruktionen af den beskrevne virkelighed . Det giver dig mulighed for at reducere og forenkle arbejdet med psykodiagnostiske metoder.

Kemoinformatik

Neurale netværk er meget brugt i kemisk og biokemisk forskning [29] . På nuværende tidspunkt er neurale netværk en af de mest almindelige metoder inden for kemoinformatik til at søge efter kvantitative struktur-egenskabsforhold [30] [31] , på grund af hvilken de bruges aktivt både til at forudsige de fysisk-kemiske egenskaber og biologiske aktivitet af kemiske forbindelser, og for rettet design af kemiske forbindelser, forbindelser og materialer med forudbestemte egenskaber, herunder udvikling af nye lægemidler.

Neurofeedback

Neurale netværk bruges med succes til syntese af styresystemer til dynamiske objekter [32] [33] .

Inden for kontrol bruges neurale systemer i problemer med objektidentifikation, i algoritmer til prognoser og diagnostik, og også til syntese af optimal ACS. For at implementere ACP baseret på ANN er produktionen af neurochips og neurocontrollere (NC) i øjeblikket ved at blive intensivt udviklet .

I en vis forstand er ANN en hjernesimulator , der har evnen til at lære og navigere i forhold med usikkerhed. Et kunstigt neuralt netværk ligner hjernen i to aspekter. Netværket tilegner sig viden i læringsprocessen, og for at lagre viden bruger det ikke selve objekterne, men deres forbindelser - værdierne af koefficienterne for interneuronale forbindelser, kaldet synaptiske vægte eller synaptiske koefficienter.

ANN-læringsproceduren består i at identificere synaptiske vægte, der giver den de nødvendige transformerende egenskaber. Et træk ved ANN er dets evne til at ændre parametrene og strukturen i læringsprocessen. [34]

Økonomi

Neurale netværksalgoritmer er meget brugt i økonomi [35] . Ved hjælp af neurale netværk løses problemet med at udvikle algoritmer til at finde en analytisk beskrivelse af funktionsmønstrene for økonomiske objekter (virksomhed, industri, region). Disse algoritmer anvendes til at forudsige nogle "output"-indikatorer for objekter. Brugen af neurale netværksmetoder gør det muligt at løse nogle problemer med økonomisk og statistisk modellering, øge matematiske modellers tilstrækkelighed og bringe dem tættere på den økonomiske virkelighed [36] . Da økonomiske, finansielle og sociale systemer er meget komplekse og er resultatet af menneskelige handlinger og reaktioner, er det en meget vanskelig (hvis løselig) opgave at skabe en komplet matematisk model , der tager højde for alle mulige handlinger og reaktioner. I systemer af denne kompleksitet er det naturligt og mest effektivt at bruge modeller, der direkte efterligner samfundets og økonomiens adfærd. Det er præcis, hvad metodikken for neurale netværk [37] kan tilbyde .

Se også

Noter

Kommentarer

↑ Ifølge den velkendte maskinlæringsspecialist Yang LeCun er maskinlæring reproduktion af tænkning baseret på kunstige neurale netværk [4]

Fodnoter

↑ Neuralt netværk // Great Russian Encyclopedia : [i 35 bind] / kap. udg. Yu. S. Osipov . - M . : Great Russian Encyclopedia, 2004-2017.
↑ 1 2 McCulloch W. S. , Pitts W. Logisk beregning af ideer vedrørende nervøs aktivitet Arkiveret 27. november 2007 på Wayback Machine // Automata / Ed. C.E. Shannon og J. McCarthy. — M .: Izd-vo inostr. lit., 1956. - S. 363-384. (Oversættelse af den engelske artikel fra 1943)
↑ Gorban A.N. Hvem er vi, hvor skal vi hen, hvordan måler vi vores vej? Arkiveret kopi af 14. august 2009 ved Wayback Machine -plenumsrapporten ved åbningen af Neuroinformatics-99- konferencen (MEPhI, 20. januar 1999). Journalversion : Gorban A. N. Neuroinformatik: hvem vi er, hvor vi skal hen, hvordan måler vi vores vej // Computational technologys. - M . : Mashinostroenie. - 2000. - Nr. 4. - S. 10-14. = Gorban AN Neuroinformatik: Hvad er os, hvor skal vi hen, hvordan måler vi vores vej? Arkiveret 17. februar 2016 på Wayback Machine Foredraget på USA-NIS Neurocomputing Opportunities Workshop, Washington DC, juli 1999 (associeret med IJCNN'99) .
↑ LeCun, 2021 , s. 78.
↑ N. Wiener. Kybernetik. 2. udg., 1961, kap. JEG.
↑ Golubev, 2007 , s. fire.
↑ Mønstergenkendelse og adaptiv kontrol. BERNARD ENKE . Hentet 9. februar 2009. Arkiveret fra originalen 22. juni 2010. (ubestemt)
↑ Widrow B., Stearns S. Adaptiv signalbehandling. - M . : Radio og kommunikation, 1989. - 440 s.
↑ Petrov A.P. Om perceptronens muligheder // Proceedings of the Academy of Sciences of the USSR, Technical Cybernetics. - 1964. - Nr. 6 .
↑ Bongard M. M. Problemer med genkendelse. — M .: Fizmatgiz, 1967.
↑ Golubev, 2007 , s. 5.
↑ Khakimov B. B. Modellering af korrelationsafhængigheder ved splines på eksempler inden for geologi og økologi. - M . : Forlag i Moskva. universitet; SPb. : Neva, 2003. - 144 s.
↑ Werbos PJ Beyond regression: Nye værktøjer til forudsigelse og analyse i adfærdsvidenskaberne. - Ph. D. afhandling, Harvard University, Cambridge, MA, 1974.
↑ Galushkin A.I. Syntese af flerlags mønstergenkendelsessystemer. - M . : Energi, 1974.
↑ Rumelhart DE, Hinton GE, Williams RJ , Learning Internal Representations by Error Propagation. I: Parallel Distributed Processing, vol. 1, s. 318-362. Cambridge, MA, MIT Press. 1986.
↑ Rumelhart DE, Hinton GE, Williams RJ Lærer interne repræsentationer ved fejludbredelse // Parallel distribueret behandling. Vol. 1. - Cambridge, MA: MIT Press, 1986. P. 318-362.
↑ Bartsev S.I., Okhonin V.A. Adaptive netværk af informationsbehandling. - Krasnoyarsk: Institute of Physics SO AN USSR, 1986. Preprint N 59B. — 20 sek.
↑ Denne type kodning kaldes nogle gange for en "1 ud af N"-kode.
↑ 1 2 Åbne systemer - Introduktion til neurale netværk Arkiveret 31. oktober 2005 på Wayback Machine
↑ Gorban A. N. Generaliseret tilnærmelsessætning og neurale netværks beregningsevner Arkivkopi dateret 27. januar 2012 på Wayback Machine // Siberian Journal of Computational Mathematics , 1998, bind 1, nr. 1. - S. 12-24.
↑ Mirkes E. M. Logisk gennemsigtige neurale netværk og produktion af eksplicit viden fra data Arkivkopi af 4. februar 2019 på Wayback Machine // Neuroinformatik / A. N. Gorban, V. L. Dunin-Barkovsky, A. N. Kirdin et al. - Novosibirsk: Science. Siberian Enterprise fra Det Russiske Videnskabsakademi, 1998. - 296 s. — ISBN 5-02-031410-2 .
↑ Omtale af denne historie i Popular Mechanics . Hentet 16. april 2012. Arkiveret fra originalen 8. september 2011. (ubestemt)
↑ INTUIT.ru - Tilbagevendende netværk som associative lagerenheder . Hentet 5. oktober 2007. Arkiveret fra originalen 17. december 2007. (ubestemt)
↑ Kohonen T. Selvorganiserende kort. 3. udgave. - Berlin - New York: Springer-Verlag, 2001 / - ISBN 0-387-51387-6 , ISBN 3-540-67921-9 .
↑ Zinoviev A. Yu Visualisering af multidimensionelle data . - Krasnoyarsk: Krasnoyarsk-statens forlag. tech. un-ta, 2000. - 180 s.
↑ Martinetz TM, Berkovich SG, Schulten KJ Neuralgasnetværk til vektorkvantisering og dets anvendelse på tidsserieforudsigelse Arkiveret 16. juli 2019 på Wayback Machine // IEEE Trans. om neurale netværk, 1993, nr. 4. - S. 558-569. Fra PCA- webstedet Arkiveret 16. marts 2019 på Wayback Machine
↑ Gorban AN, Rossiyev DA, Dorrer MG MultiNeuron - Neural Networks Simulator For Medical, Physiological, and Psychological Applications Arkiveret 17. februar 2016 på Wayback Machine // Wcnn'95, Washington, DC: World Congress on Neural Networks, 1995. International Årsmøde i Neural Network Society: Renaissance Hotel, Washington, DC, USA, 17.-21. juli 1995.
↑ Dorrer M.G. Psykologisk intuition af kunstige neurale netværk Arkiveret 25. marts 2009 på Wayback Machine , Diss. … 1998. Andre kopier online: [1] Arkiveret 28. april 2009 på Wayback Machine , [2] Arkiveret 7. april 2009 på Wayback Machine
↑ Baskin I. I., Palyulin V. A., Zefirov N. S. Anvendelse af kunstige neurale netværk i kemisk og biokemisk forskning Arkivkopi dateret 10. juli 2007 på Wayback Machine // Vestn. Moskva universitet Ser. 2. Kemi . 1999. V. 40. Nr. 5.
↑ Galbershtam N. M., Baskin I. I., Palyulin V. A., Zefirov N. S. Neurale netværk som en metode til at søge efter struktur-egenskabsafhængigheder af organiske forbindelser // Uspekhi khimii . - Det russiske videnskabsakademi , 2003. - T. 72 , nr. 7 . - S. 706-727 . (Russisk)
↑ Baskin I. I., Palyulin V. A., Zefirov N. S. Flerlagsperceptroner i studiet af struktur-egenskabsforhold for organiske forbindelser // Russian Chemical Journal (Journal of the Russian Chemical Society opkaldt efter D. I. Mendeleev). - 2006. - T. 50 . - S. 86-96 .
↑ Shigeru, Marzuki, Rubia, 2000 .
↑ Chernodub A. N., Dzyuba D. A. Oversigt over neurokontrolmetoder Arkiveret 13. januar 2012 på Wayback Machine // Programmeringsproblemer . - 2011. - Nr. 2. - S. 79-94.
↑ Sabanii V. R. Automatiske kontrolsystemer baseret på neurale netværksteknologier / V. R. Sabanin, N. I. Smirnov, A. I. Repin // Proceedings of the International Scientific Conference Control-2003. M.: MEI Publishing House, 2003.S. 45-51.
↑ Kalatskaya L. V., Novikov V. A., Sadov V. S. Organisering og træning af kunstige neurale netværk: Eksperimentelle undersøgelser. godtgørelse. - Minsk: BSU Publishing House, 2003. - 72 s.
↑ Kenin A. M., Mazurov V. D. Erfaring i brugen af neurale netværk i økonomiske problemer Arkivkopi af 2. april 2013 på Wayback Machine
↑ [3] Neurale netværk i økonomi

Litteratur

Berkinblit M. B. Neurale netværk . - M. : MIROS og VZMSH RAO, 1993. - 96 s. — ISBN 5-7084-0026-9 . Arkiveret12. maj 2011 påWayback Machine
Voronovsky G. K., Makhotilo K. V., Petrashev S. N., Sergeev S. A. Genetiske algoritmer, kunstige neurale netværk og problemer med virtual reality. - Kharkov: Osnova, 1997. - 112 s. — ISBN 5-7768-0293-8 .
Golubev Yu. F. Neurale netværksmetoder i mekatronik. - M . : Forlag i Moskva. unta, 2007. - 157 s. — ISBN 978-5-211-05434-9 .
Gorban A.N. Træning af neurale netværk . - M. : USSR-USA SP "Paragraph", 1990. - 160 s.
Gorban A.N., Rossiev D.A. Neurale netværk på en personlig computer . - Novosibirsk: Nauka, 1996. - 276 s. — ISBN 5-02-031196-0 .
Gorban A.N., Dunin-Barkovsky V.L. et al. Neuroinformatik . - Novosibirsk: Nauka, 1998.
Goodfellow Y., Bengio I., Courville A. Deep Learning = Deep Learning. — M. : DMK-Press , 2017. — 652 s. - ISBN 978-5-97060-554-7 .
Eremin D. M., Gartseev I. B. Kunstige neurale netværk i intelligente kontrolsystemer. - M. : MIREA, 2004. - 75 s. - ISBN 5-7339-0423-2 .
Callan R. Essential Neural Network Concepts = The Essence of Neural Networks First Edition. - M. : Williams, 2001. - 288 s. — ISBN 5-8459-0210-X .
Kruglov V. V. , Borisov V. V. Kunstige neurale netværk. Teori og praksis. - M . : Hotline - Telecom, 2001. - 382 s. — ISBN 5-93517-031-0 .
Mirkes E. M. Neurocomputer. Udkast til standard . - Novosibirsk: Nauka, 1999. - 337 s. — ISBN 5-02-031409-9 . Andre kopier online:Neurocomputer. Udkast til standard.
Nikolenko S. , Kadurin A., Arkhangelskaya E. Deep learning. - Sankt Petersborg. : Peter , 2018. - 480 s. - ISBN 978-5-496-02536-2 .
Osovsky Stanislav. Neurale netværk til informationsbehandling = Sieci neuronowe do przetwarzania informacji (polsk) / Oversat af I. D. Rudinsky. - M. : Finans og statistik, 2004. - 344 s. — ISBN 5-279-02567-4 .
Savelyev A. V. På vej til den generelle teori om neurale netværk. Om spørgsmålet om kompleksitet // Neurocomputere: udvikling, applikation. - 2006. - Nr. 4-5 . - S. 4-14 . Arkiveret fra originalen den 11. september 2016.
Shigeru Omatu, Marzuki Khalid, Rubia Yusof. Neurocontrol og dens applikationer = Neuro-Control og dens applikationer. 2. udg. — M. : IPRZhR, 2000. — 272 s. — ISBN 5-93108-006-6 .
Tadeusevich Ryszard, Borovik Barbara, Gonchazh Tomasz, Lepper Bartosz. En elementær introduktion til teknologien i neurale netværk med programeksempler / Oversættelse af I. D. Rudinsky. - M . : Hotline - Telecom, 2011. - 408 s. - ISBN 978-5-9912-0163-6 . .
Terekhov V. A., Efimov D. V., Tyukin I. Yu. Neurale netværkskontrolsystemer. - M . : Højere skole , 2002. - 184 s. — ISBN 5-06-004094-1 .
Wasserman F. Neurocomputerteknologi: Teori og praksis = Neural Computing. teori og praksis. — M .: Mir, 1992. — 240 s. — ISBN 5-03-002115-9 . Arkiveret 30. juni 2009 på Wayback Machine
Khaykin S. Neurale netværk: et komplet kursus = Neurale netværk: A Comprehensive Foundation. 2. udg. - M. : Williams, 2006. - 1104 s. — ISBN 0-13-273350-1 .
Yasnitsky L. N. Introduktion til kunstig intelligens. - M . : Forlag. Center "Academy", 2005. - 176 s. — ISBN 5-7695-1958-4 .

Jan LeCun . Hvordan en maskine lærer. En revolution inden for neurale netværk og dyb læring. (Sber Bibliotek: Kunstig Intelligens). - M . : Alpina faglitteratur, 2021. - ISBN 978-5-907394-29-2 .

Links

Neurale netværk hos Curlie Link Directory (dmoz)
Tutorial til kunstige neurale netværk
Ian Goodfellow, Yoshua Bengio, Aaron Courville. Dyb læring . MIT Press (2016). — En bog om maskinlæring og i særdeleshed deep learning .

Ordbøger og encyklopædier	stor kinesisk Fantastisk norsk Stor russer Universalis
I bibliografiske kataloger	GND : 4226127-2 J9U : 987007551192405171 LCCN : sh90001937 NDL : 01165604 NKC : ph115443

Typer af kunstige neurale netværk

Feed-forward-netværk ( Netværk af radiale basisfunktioner )
Enkeltlags perceptron
Flerlagsperceptron ( Rosenblatt • Rumelhart )
Hopfield netværk
Markov kæde
Boltzmann maskine
Begrænset Boltzmann-maskine
Autoencoder ( Denoise autoencoder • Sparse autoencoder • Variationel autoencoder )
Dybt net af tillid
Konvolutionelt neuralt netværk
Deep Convolutional Neural Network
Udrulning af neuralt netværk
Deep Convolutional Inverse Graphic Network
Generativt modstridende netværk
Tilbagevendende neurale netværk
Rekursive neurale netværk
lang korttidshukommelse
Kontrolleret tilbagevendende blokering
Neurale Turing-maskiner
Tovejsnetværk ( Bidirektionalt tilbagevendende neuralt netværk • Tovejsnetværk med langtidshukommelse • Tovejskontrollerede tilbagevendende neuroner )
Deep Residual Network
Neural ekko netværk
Ekstrem læringsmetode
Metode til ustabile tilstande
Support vektor maskine
Kohonen netværk
Selvorganiserende kort over Kohonen
Kapsel neuralt netværk
Associativ hukommelse på neurale netværk

Kunstig intelligens
Historie	Historien om kunstig intelligens Vinter med kunstig intelligens Dartmouth Seminar
Filosofi	Turing test kinesisk værelse Stærk og svag kunstig intelligens Venlig kunstig intelligens Etik om kunstig intelligens Kontrol problem
Vejbeskrivelse	Agent tilgang Adaptiv kontrol Viden Engineering Levedygtig systemmodel Maskinelæring Neuralt netværk sløret logik naturlig sprogbehandling Mønster genkendelse Sværm intelligens Symbolsk AI Evolutionære algoritmer Ekspertsystem
Ansøgning	Stemmekontrol Klassificeringsproblem Dokumentklassificering Dokumentklynger klyngeanalyse Lokal søgning Maskinoversættelse Optisk tegngenkendelse Tale genkendelse Håndskriftsgenkendelse Spil AI
Forskere	Charles Babbage Vladimir Vapnik Joseph Weizenbaum Norbert Wiener Victor Glushkov Vladimir Gorodetsky Jan LeCun Alexey Lyapunov John McCarthy Marvin Minsky Allen Newell Seymour Papert Juda Perle Germogen Pospelov Dmitry Pospelov Frank Rosenblatt Herbert Alexander Simon Alan Turing Patrick Winston Victor Finn Sergey Fomin Demis Hassabis Geoffrey Hinton Noam Chomsky Claude Shannon Andrew Eun Eliezer Yudkovsky

Viden Engineering
Generelle begreber	Data metadata Viden meterkendelse Vidensrepræsentation Vidensgrundlag Ontologi semantisk web
Stive modeller	Produkter Semantiske netværk Rammer Logisk model
Bløde metoder	Neuralt netværk evolutionær modellering sløret logik
Ansøgninger	Ekspertsystemer Data mining Informationsudtrækning Virtuelle samtalepartnere Hybride intelligente systemer
Kunstig intelligens Maskinelæring naturlig sprogbehandling

Machine learning og data mining
Opgaver	Klassificeringsproblem Læring uden lærer Lærerassisteret læring Regressions analyse AutoML Foreningens regler Feature Extraction Træning af træk Ranking træning Grammatisk afledning Online læring
At lære med en lærer	k-nærmeste nabo metode Naiv Bayes Classifier beslutningstræ Support vektor maskine Lineær regression Logistisk regression perceptron Ensembler af modeller Bagning boostning tilfældig skov Relevant vektormetode
klyngeanalyse	k-betyder metode Fuzzy klyngemetode Hierarkisk klyngedannelse EM algoritme BIRKE HELBREDE DBSCAN OPTIK Middel-forskydning
Dimensionalitetsreduktion	Faktoranalyse Hovedkomponentmetode CCA ICA LDA Ikke-negativ matrixudvidelse t-SNE
Strukturel prognose	Graf probabilistisk model Bayesiansk netværk Skjult Markov-model CRF
Anomali detektion	k-nærmeste nabo metode Lokalt emissionsniveau
Grafer sandsynlighedsmodeller	Bayesiansk netværk Markov netværk Skjult Markov-model
Neurale netværk	Begrænset Boltzmann-maskine selvorganiserende kort Aktiveringsfunktion Sigmoid softmax Radial basisfunktion Rygformeringsmetode Dyb læring Flerlagsperceptron Tilbagevendende neurale netværk lang korttidshukommelse Kontrolleret tilbagevendende blokering Konvolutionelt neuralt netværk U-net Autoencoder
Forstærkende læring	Markov proces Bellmans ligning Grådig algoritme Q-læring SARSA Temporal forskel (TD)
Teori	Vapnik-Chervonenkis teori Bias-Dispersion Dilemma Beregningsmæssig læringsteori Empirisk risikominimering Occams læring PAC læring Statistisk læringsteori
Tidsskrifter og konferencer	NeurIPS ICML ML JMLR ArXiv:cs.LG

Neuralt netværk

Kronologi

Bemærkelsesværdige anvendelser

Mønstergenkendelse og klassificering

Beslutningstagning og ledelse

Clustering

Forecasting

Tilnærmelse

Datakomprimering og associativ hukommelse

Dataanalyse

Optimering

Stadier af problemløsning

Dataindsamling til træning

Valg af netværkstopologi

Eksperimentelt valg af netværkskarakteristika

Eksperimentelt valg af læringsparametre

Netværkstræning

Kontrol af tilstrækkeligheden af ​​uddannelse

Klassificering efter type inputinformation

Klassificering efter uddannelsens art

Klassificering i henhold til arten af ​​synapse-tuning

Klassificering efter signaltransmissionstid

Klassificering efter arten af ​​forbindelserne

Feed-forward neurale netværk

Tilbagevendende neurale netværk

Radial basisfunktioner

Selvorganiserende kort

Kendte netværkstyper

Forskelle fra von Neumann arkitekturmaskiner

Eksempler på brug

Forudsigelse af finansielle tidsserier

Psykodiagnostik

Kemoinformatik

Neurofeedback

Økonomi

Se også

Noter

Kommentarer

Fodnoter

Litteratur

Links

Kontrol af tilstrækkeligheden af uddannelse

Klassificering i henhold til arten af synapse-tuning

Klassificering efter arten af forbindelserne