Perceptron

Perceptron , eller perceptron [nb 1] ( eng. perceptron fra lat. perceptio  - perception ; germ . Perzeptron ) - en matematisk eller computermodel for informationsopfattelse af hjernen ( cybernetic model of the brain ), foreslået af Frank Rosenblatt i 1958 og først implementeret i form af elektronisk maskine "Mark-1" [nb 2] i 1960 . Perceptronen blev en af ​​de første modeller af neurale netværk , og Mark-1 blev verdens første neurocomputer .    

Perceptronen består af tre typer elementer, nemlig: de signaler, der kommer fra sensorerne , transmitteres til de associative elementer og derefter til de reagerende elementer. Således giver perceptroner dig mulighed for at skabe et sæt "associationer" mellem inputstimuli og det ønskede outputrespons. I biologiske termer svarer dette til transformationen af ​​for eksempel visuel information til en fysiologisk respons fra motoriske neuroner . Ifølge moderne terminologi kan perceptroner klassificeres som kunstige neurale netværk:

  1. med ét skjult lag; [NB 3]
  2. med tærskeloverførselsfunktion ;
  3. med direkte signaludbredelse .

På baggrund af neurale netværks voksende popularitet i 1969 blev der udgivet en bog af Marvin Minsky og Seymour Papert , som viste de grundlæggende begrænsninger af perceptroner. Dette har ført til et skift i interessen for kunstig intelligens -forskere inden for symbolsk computing , modsat neurale netværk [nb 4] . På grund af kompleksiteten af ​​den matematiske undersøgelse af perceptroner samt manglen på almindeligt accepteret terminologi er der desuden opstået forskellige unøjagtigheder og misforståelser .

Efterfølgende genoptog interessen for neurale netværk, og især Rosenblatts arbejde. Så for eksempel er biocomputing i hastig udvikling , som i sit teoretiske beregningsgrundlag blandt andet er baseret på neurale netværk, og perceptronen gengives på basis af bakteriohodopsin-holdige film .

Fremkomsten af ​​perceptronen

I 1943 foreslog Warren McCulloch og Walter Pitts konceptet om et kunstigt neuralt netværk i deres papir "A logical calculus of ideas relating to neural activity" [1] . Især foreslog de en kunstig neuronmodel . Donald Hebb beskrev i sit papir fra 1949 "Organisation of Behavior" [2] de grundlæggende principper for neuronindlæring.

Disse ideer blev udviklet et par år senere af den amerikanske neurofysiolog Frank Rosenblatt . Han foreslog et skema for en enhed, der simulerede processen med menneskelig perception , og kaldte det en "perceptron". Perceptronen transmitterede signaler fra fotoceller , som var et sansefelt, til blokke af elektromekaniske hukommelsesceller. Disse celler var tilfældigt forbundet med hinanden i overensstemmelse med principperne for konnektivisme . I 1957, på Cornell Aeronautics Laboratory, blev en simulering af driften af ​​en perceptron på en IBM 704 -computer gennemført med succes , og to år senere, den 23. juni 1960, på Cornell University , blev den første neurocomputer demonstreret  - Mark-1 , som var i stand til at genkende nogle bogstaver i det engelske alfabet [3] [4] .

For at "lære" perceptronen at klassificere billeder blev der udviklet en speciel iterativ trial and error læringsmetode, der minder om processen med menneskelig læring - fejlkorrektionsmetoden [5] . Derudover kunne perceptronen, når den genkendte et bestemt bogstav, fremhæve bogstavets karakteristiske træk, som statistisk set var mere almindelige end ubetydelige forskelle i individuelle tilfælde. Således var perceptronen i stand til at generalisere bogstaver skrevet på forskellige måder (håndskrift) til ét generaliseret billede. Perceptronens muligheder var imidlertid begrænsede: Maskinen kunne ikke pålideligt genkende delvist lukkede bogstaver, såvel som bogstaver af en anden størrelse, placeret med et skift eller rotation, end dem, der blev brugt i træningsstadiet [6] .

Rapporten om de første resultater udkom tilbage i 1958  - derefter publicerede Rosenblatt artiklen "Perceptron: A probabilistic model for storage and organizing information in the brain" [7] . Men han beskriver sine teorier og antagelser vedrørende perceptions- og perceptronprocesser mere detaljeret i 1962 i bogen "Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms". I bogen betragter han ikke kun færdige perceptronmodeller med ét skjult lag, men også flerlagsperceptroner med krydsforbindelser (tredje kapitel) og omvendte (fjerde kapitel). Bogen introducerer også en række vigtige ideer og teoremer, for eksempel er perceptronkonvergenssætningen [8] bevist .

Beskrivelse af den elementære perceptron

En elementær perceptron består af tre typer elementer: S-elementer, A-elementer og et R-element. S-elementer er et lag af sensorer eller receptorer. I en fysisk udførelsesform svarer de til for eksempel lysfølsomme celler i øjets nethinde eller fotomodstande i et kameraarray. Hver receptor kan være i en af ​​to tilstande - hvile eller excitation , og kun i sidstnævnte tilfælde sender den et enkelt signal til det næste lag, til associative elementer.

A-elementer kaldes associative, fordi hvert sådant element som regel svarer til et helt sæt (association) af S-elementer. A-elementet aktiveres, så snart antallet af signaler fra S-elementerne ved dets indgang overstiger en vis værdi [nb 5] . Således, hvis et sæt af tilsvarende S-elementer er placeret på sansefeltet i form af bogstavet "D", aktiveres A-elementet, hvis et tilstrækkeligt antal receptorer har rapporteret udseendet af en "hvid lysplet" i deres nærhed, dvs. A-elementet vil så at sige være forbundet med tilstedeværelsen/fraværet af bogstavet "D" i et eller andet område.

Signalerne fra de exciterede A-elementer transmitteres til gengæld til adderen R, og signalet fra det i-te associative element transmitteres med en koefficient [9] . Denne koefficient kaldes vægten af ​​A-R-bindingen.

Ligesom A-elementerne beregner R-elementet summen af ​​værdierne af inputsignalerne ganget med vægtene ( lineær form ). R-elementet, og med det den elementære perceptron, udsender "1", hvis den lineære form overskrider tærsklen , ellers vil outputtet være "-1". Matematisk kan funktionen implementeret af R-elementet skrives som følger:

Træningen af ​​en elementær perceptron består i at ændre vægtkoefficienterne for A–R-bindingerne. Vægten af ​​S–A-forbindelserne (som kan tage værdierne {−1; 0; +1}) og tærskelværdierne for A-elementerne er valgt tilfældigt i begyndelsen og ændres derefter ikke. (Se nedenfor for en beskrivelse af algoritmen .)

Efter træning er perceptronen klar til at arbejde i genkendelsestilstand [10] eller generaliseringstilstand [11] . I denne tilstand præsenteres perceptronen for hidtil ukendte objekter, og perceptronen skal bestemme, hvilken klasse de tilhører. Perceptronens arbejde er som følger: når et objekt præsenteres, sender de exciterede A-elementer et signal til R-elementet, lig med summen af ​​de tilsvarende koefficienter . Hvis denne sum er positiv, så besluttes det, at det givne objekt tilhører den første klasse, og hvis det er negativt, så til den anden [12] .

Grundlæggende begreber i teorien om perceptroner

Seriøst kendskab til teorien om perceptroner kræver viden om grundlæggende definitioner og teoremer, hvis helhed er grundlaget for alle efterfølgende typer af kunstige neurale netværk . Men i det mindste er det nødvendigt at forstå i det mindste fra signalteoriens synspunkt , som er original, det vil sige beskrevet af forfatteren af ​​perceptronen F. Rosenblatt.

Beskrivelse baseret på signaler

Lad os først definere de konstituerende elementer i perceptronen, som er specielle tilfælde af en kunstig neuron med en tærskeloverførselsfunktion .

Hvis vi ved udgangen af ​​et element får 1, så siger vi, at elementet er aktivt eller exciteret .

Alle betragtede elementer kaldes simple , da de implementerer springfunktioner . Rosenblatt hævdede også, at andre typer funktioner, såsom lineære [14] , kan være nødvendige for at løse mere komplekse problemer .

Som et resultat introducerede Rosenblatt følgende definitioner:

Derudover kan du pege på følgende begreber foreslået i bogen og senere udviklet inden for rammerne af teorien om neurale netværk:

Beskrivelse baseret på prædikater

Marvin Minsky studerede egenskaberne ved parallel computing , hvoraf perceptronen var et særligt tilfælde på det tidspunkt. For at analysere dens egenskaber måtte han genindsætte teorien om perceptroner på prædikatsproget . Essensen af ​​tilgangen var som følger: [nb 6] [19]

Som anvendt på den "visuelle" perceptron symboliserede variablen X billedet af en eller anden geometrisk figur ( stimulus ). Et privat prædikat tillod hver at "genkende" sin egen figur. Prædikatet ψ betød situationen, hvor den lineære kombination (  — transmissionskoefficienter) overskred en vis tærskel θ.

Forskere har identificeret 5 familier af perceptroner, der efter deres mening har interessante egenskaber: [20]

  1. Perceptroner begrænset i diameter  - hver figur X, genkendt af bestemte prædikater, overstiger ikke en fast værdi i diameter.
  2. Afgrænset orden perceptroner  - hvert bestemt prædikat afhænger af et begrænset antal punkter fra X.
  3. Gamba-perceptroner  - hvert bestemt prædikat skal være en lineær tærskelfunktion, det vil sige en mini-perceptron.
  4. Tilfældige perceptroner  er perceptroner af begrænset orden, hvor partielle prædikater er tilfældigt udvalgte boolske funktioner. Bogen bemærker, at det var denne model, der blev studeret mest grundigt af Rosenblatts gruppe.
  5. Afgrænsede perceptroner  - sættet af partielle prædikater er uendeligt, og sættet af mulige værdier af koefficienterne er endeligt.

Selvom et sådant matematisk apparat gjorde det muligt kun at anvende analysen på den elementære Rosenblatt-perceptron, afslørede det mange grundlæggende begrænsninger for parallel computing, som ingen type moderne kunstige neurale netværk er fri for.

Historisk klassifikation

Begrebet en perceptron har en interessant, men lidet misundelsesværdig historie. Som et resultat af de seneste års uudviklede terminologi for neurale netværk, hård kritik og misforståelse af perceptronforskningens opgaver, og nogle gange falsk pressedækning, er den oprindelige betydning af dette begreb blevet forvrænget. Ved at sammenligne udviklingen af ​​Rosenblatt og moderne anmeldelser og artikler kan vi skelne mellem 4 ret isolerede klasser af perceptroner:

Perceptron med ét skjult lag Dette er den klassiske perceptron, som det meste af Rosenblatts bog er viet til, og som overvejes i denne artikel: den har et lag af S-, A- og R-elementer. Enkeltlags perceptron Dette er en model, hvor input-elementerne er direkte forbundet med output-elementerne ved hjælp af et vægtsystem. Det er det enkleste feed-forward-netværk  - en lineær klassifikator og et specialtilfælde af den klassiske perceptron, hvor hvert S-element entydigt svarer til et A-element, S-A-links har en vægt på +1, og alle A-elementer har en tærskelværdi θ = 1. Enkeltlagsperceptroner er faktisk formelle neuroner , dvs. McCulloch-Pitts tærskelelementer. De har mange begrænsninger, især kan de ikke identificere situationen, når forskellige signaler påføres deres input ("XOR-opgave", se nedenfor ). Flerlagsperceptron (ifølge Rosenblatt) Dette er en perceptron med yderligere lag af A-elementer. Rosenblatt analyserede det i tredje del af sin bog. Flerlagsperceptron (ifølge Rumelhart ) Dette er en perceptron, hvori der er yderligere lag af A-elementer, desuden udføres træningen af ​​et sådant netværk i overensstemmelse med metoden til fejltilbagespredning , og alle lag af perceptronen (inklusive S-A) trænes. Det er et særligt tilfælde af Rosenblatts flerlagsperceptron.

I øjeblikket er udtrykket "perceptron" i litteraturen oftest forstået som en enkeltlagsperceptron ( engelsk  Single-layer perceptron ), desuden er der en almindelig misforståelse, at det var denne simpleste type model foreslået af Rosenblatt. I modsætning til en enkeltlags sætter de en "flerlagsperceptron" ( eng.  Multilayer perceptron ), igen, hvilket oftest betyder Rumelharts flerlagsperceptron, ikke Rosenblatts. Den klassiske perceptron i en sådan dikotomi omtales som multilag.

Læringsalgoritmer

En vigtig egenskab ved ethvert neuralt netværk er evnen til at lære . Læringsprocessen er en procedure til justering af vægte og tærskler for at reducere forskellen mellem den ønskede (mål) og den resulterende outputvektor. I sin bog forsøgte Rosenblatt at klassificere forskellige perceptronlæringsalgoritmer og kaldte dem forstærkningssystemer.

Et belønningssystem  er ethvert sæt regler baseret på hvilke interaktionsmatrixen (eller hukommelsestilstanden) for en perceptron kan ændres over tid [21] .

Rosenblatt beskrev disse forstærkningssystemer og specificerede deres mulige typer, og baseret på D. Hebbs ideer om læring foreslået af ham i 1949 [2] , som kan omformuleres til følgende todelte regel:

Overvåget læring

Den klassiske metode til træning af en perceptron er fejlkorrektionsmetoden [8] . Det er en form for overvåget læring , hvor vægten af ​​forbindelsen ikke ændrer sig, så længe perceptronens aktuelle reaktion forbliver korrekt. Når der opstår en forkert reaktion, ændres vægten med én, og tegnet (+/-) bestemmes modsat fortegn for fejlen.

Antag, at vi ønsker at træne perceptronen til at adskille to klasser af objekter, således at når objekter af den første klasse præsenteres, er outputtet af perceptronen positiv (+1), og når objekter af den anden klasse præsenteres, er den negativ ( −1). For at gøre dette vil vi udføre følgende algoritme: [5]

  1. Vi vælger tilfældigt tærskler for A-elementer og etablerer S-A forbindelser (de ændres ikke yderligere).
  2. Startkoefficienterne antages at være lig med nul.
  3. Vi præsenterer et træningseksempel : objekter (for eksempel cirkler eller firkanter), der angiver den klasse, de tilhører.
    • Vi viser perceptronen et objekt af første klasse. I dette tilfælde vil nogle A-elementer være begejstrede. Koefficienterne svarende til disse exciterede elementer øges med 1.
    • Vi præsenterer et objekt af den anden klasse, og koefficienterne for de A-elementer, der exciteres under denne visning, reduceres med 1.
  4. Begge dele af trin 3 vil blive udført for hele træningssættet. Som et resultat af træning vil værdierne af forbindelsesvægte blive dannet .

Perceptronkonvergenssætningen [8] , beskrevet og bevist af F. Rosenblatt (med deltagelse af Block, Joseph, Kesten og andre forskere, der arbejdede med ham), viser, at en elementær perceptron trænes i henhold til en sådan algoritme, uanset initialen tilstanden af ​​vægtkoefficienterne og rækkefølgen, vil fremkomsten af ​​incitamenter altid føre til opnåelse af en løsning i en begrænset periode.

Læring uden lærer

Ud over den klassiske perceptronlæringsmetode introducerede Rosenblatt også begrebet uovervåget læring og foreslog følgende læringsmetode:

Alfaforstærkningssystemet  er et forstærkningssystem, hvor vægten af ​​alle aktive forbindelser, der fører til elementet, ændres med samme mængde r, og vægten af ​​inaktive forbindelser ikke ændres i løbet af denne tid [23] .

Derefter, med udviklingen af ​​konceptet om en flerlagsperceptron , blev alfasystemet modificeret, og det blev kendt som deltareglen . Modifikationen blev udført for at gøre indlæringsfunktionen differentierbar (for eksempel sigmoid ), hvilket igen er nødvendigt for at anvende gradient descent- metoden , på grund af hvilken mere end et lag kan trænes.

Backpropagation metode

For at træne flerlagsnetværk foreslog en række videnskabsmænd, herunder D. Rumelhart , en overvåget gradientindlæringsalgoritme , der udfører et fejlsignal beregnet af perceptronens output til dens input , lag for lag. Dette er nu den mest populære metode til træning af flerlagsperceptroner. Dens fordel er, at den kan træne alle lag af det neurale netværk, og det er nemt at beregne det lokalt. Denne metode er imidlertid meget tidskrævende, og for dens anvendelse er det desuden nødvendigt, at neuronernes overførselsfunktion er differentierbar. Samtidig var det i perceptroner nødvendigt at opgive det binære signal og bruge kontinuerlige værdier ved indgangen [24] .

Traditionelle vrangforestillinger

Som et resultat af populariseringen af ​​kunstige neurale netværk af journalister og marketingfolk blev der lavet en række unøjagtigheder, som med utilstrækkelig undersøgelse af originale værker om dette emne blev fejlfortolket af unge (på det tidspunkt) videnskabsmænd. Som følge heraf kan man den dag i dag møde en utilstrækkelig dyb fortolkning af perceptronens funktionalitet sammenlignet med andre neurale netværk udviklet i de efterfølgende år.[ hvornår? ]

Terminologiske unøjagtigheder

Den mest almindelige terminologifejl er at definere en perceptron som et neuralt netværk uden skjulte lag (enkeltlagsperceptron, se ovenfor ). Denne fejl skyldes utilstrækkeligt udviklet terminologi inden for neurale netværk på et tidligt stadium af deres udvikling. F. Wasserman gjorde et forsøg på at klassificere forskellige typer af neurale netværk på en bestemt måde:

Som det fremgår af publikationerne, er der ingen almindeligt accepteret måde at tælle antallet af lag i netværket på. Et flerlagsnetværk består af skiftende sæt neuroner og vægte. Inputlaget udfører ikke summering. Disse neuroner tjener kun som grene til det første sæt vægte og påvirker ikke netværkets beregningsevne. Af denne grund tages det første lag ikke i betragtning ved optælling af lag, og netværket betragtes som to-lag, da kun to lag udfører beregninger. Endvidere anses lagets vægte for at være forbundet med neuronerne, der følger dem. Derfor består laget af et sæt vægte efterfulgt af neuroner, der summerer de vægtede signaler [25] .

Som et resultat af denne repræsentation faldt perceptronen under definitionen af ​​et "enkeltlags neuralt netværk". Dette er til dels rigtigt, fordi det ikke har skjulte lag af lærende neuroner (hvis vægte tilpasser sig opgaven). Og derfor kan hele sættet af faste forbindelser i systemet fra S-til A-elementer logisk erstattes af et sæt (modificeret i henhold til en streng regel) af nye inputsignaler, der kommer umiddelbart til A-elementer (og dermed eliminerer det første lag af forbindelser i det hele taget). Men her tager de bare ikke højde for, at en sådan modifikation gør den ikke-lineære repræsentation af problemet til en lineær.

Derfor kan du blot ignorere ikke-trænbare lag med faste forbindelser (i en elementær perceptron er disse S-A-forbindelser) dig til at drage forkerte konklusioner om det neurale netværks muligheder. Så Minsky handlede meget korrekt og omformulerede A-elementet som et prædikat (det vil sige en funktion); tværtimod har Wasserman allerede mistet denne idé og har et A-element - blot et input (nærmest svarende til et S-element). Med en sådan terminologisk forvirring overses det faktum, at perceptronen kortlægger det receptive felt af S-elementer til det associative felt af A-elementer, som et resultat af hvilket ethvert lineært uadskilleligt problem transformeres til et lineært adskilleligt.

Funktionelle fejlslutninger

De fleste funktionelle misforståelser bunder i den formodede umulighed at løse et lineært uadskilleligt problem med en perceptron. Men der er mange variationer af dette tema, lad os overveje de vigtigste.

XOR problem

Misforståelse: Perceptronen er ikke i stand til at løse " XOR-problemet ".

En meget almindelig misforståelse. Billedet til højre viser en perceptron-løsning på dette problem. Denne misforståelse opstår for det første på grund af det faktum, at Minskys definition af en perceptron er forkert fortolket (se ovenfor ), nemlig prædikater, der umiddelbart sidestiller input, selvom Minskys prædikat er en funktion, der identificerer et helt sæt af inputværdier [nb 7 ] . For det andet på grund af det faktum, at den klassiske Rosenblatt-perceptron forveksles med en enkeltlagsperceptron (på grund af den ovenfor beskrevne terminologiske unøjagtighed).

Der bør lægges særlig vægt på, at "enkeltlagsperceptron" i moderne terminologi og "enkeltlagsperceptron" i Wassermans terminologi er forskellige objekter. Og objektet afbildet i illustrationen, i Wassermans terminologi, er en to-lags perceptron.

Lærbarhed for lineært uadskillelige problemer

Misforståelse: ved at vælge tilfældige vægte kan læring opnås for lineært uadskillelige (generelt set alle) opgaver, men kun hvis du er heldig , og i nye variabler (output af A-neuroner) viser opgaven sig at være lineært adskillelig. Men du er måske ikke heldig.

Perceptronkonvergenssætningen [8] beviser, at der ikke er og ikke kan være nogen "måske ikke være heldig"; når A-elementerne er lig med antallet af stimuli og den ikke-specielle G-matrix  , er sandsynligheden for løsningen 100%. Det vil sige, at når receptorfeltet afbildes på et associativt felt, der er større med én dimension, af en tilfældig (ikke-lineær) operator, bliver det ikke-lineære problem til et lineært adskilleligt. Og det næste lag, der kan trænes, finder allerede en lineær løsning i et andet inputrum. For eksempel udføres træning af en perceptron til at løse "XOR-problemet" (se illustrationen) i følgende trin:
Vægte Gentagelser
en 2 3 fire 5
w1 0 en en en en 2 2 2 2
w2 0 0 en en en en en 2 2
w3 −1 0 en 0 −1 0 −1 0 −1
Indgangssignaler (x, y) elleve 0, 1 ti elleve elleve 0, 1 elleve ti elleve
Lærbarhed fra et par eksempler

Misforståelse: hvis dimensionen af ​​input i et problem er ret høj, og der er få træningseksempler, så i et sådant "svagt fyldt" rum, viser antallet af succeser sig måske ikke at være lille. Dette indikerer kun et bestemt tilfælde af perceptronets egnethed og ikke dets universalitet.

Dette argument kan let testes på et testproblem kaldet "skakbræt" eller "svamp med vand" [26] [nb 8] :
Givet en kæde på 2· N enere eller nuller, der fødes parallelt med perceptronens input. Hvis denne kæde er spejlsymmetrisk omkring midten, er outputtet +1, ellers 0. Træningseksempler er alle (dette er vigtigt) kæder.
Der kan være variationer af denne opgave, for eksempel:
Lad os tage et sort-hvidt billede med en størrelse på 256×256 elementer ( pixels ). Indgangsdata for perceptronen vil være punktets koordinater (8 bits + 8 bits, i alt 16 S-elementer er nødvendige), ved udgangen vil vi kræve punktets farve. Vi træner perceptronen for alle punkter (hele billedet). Som et resultat har vi 65.536 forskellige stimulus-respons-par. Lær uden fejl.
Hvis dette argument er sandt, så vil perceptronen aldrig være i stand til at lære uden at begå en eneste fejl. Ellers vil perceptronen aldrig lave en fejl. I praksis viser det sig, at denne opgave er meget enkel for en perceptron: For at løse den har perceptronen brug for 1500 A-elementer (i stedet for de fulde 65.536, der kræves til enhver opgave). I dette tilfælde er antallet af iterationer omkring 1000. Med 1000 A-elementer konvergerer perceptronen ikke i 10.000 iterationer. Hvis antallet af A-elementer dog øges til 40.000, kan der forventes konvergens i 30-80 iterationer. Et sådant argument opstår, fordi dette problem forveksles med Minsky-problemet "om prædikatet "paritet" [27] . Vægtstabilisering og konvergens

Misforståelse: Rosenblatts perceptron har lige så mange A-elementer, som der er input. Og konvergensen ifølge Rosenblatt er stabiliseringen af ​​vægtene.

I Rosenblatt læser vi:

Hvis antallet af stimuli i rummet W er lig med n > N (det vil sige mere end antallet af A-elementer i den elementære perceptron), så er der en eller anden klassifikation C(W) , som der ikke er nogen løsning på [28 ] .

Heraf følger, at:
  1. for Rosenblatt er antallet af A-elementer lig med antallet af stimuli (træningseksempler), og ikke antallet af input;
  2. konvergens ifølge Rosenblatt er dette ikke stabiliseringen af ​​vægtene, men tilstedeværelsen af ​​alle de krævede klassifikationer, det vil sige i virkeligheden fraværet af fejl.
Eksponentiel vækst i antallet af skjulte elementer

Misforståelse: hvis vægtkoefficienterne for elementerne i det skjulte lag (A-elementer) er faste, er det nødvendigt, at antallet af elementer i det skjulte lag (eller deres kompleksitet) øges eksponentielt med en stigning i problemets dimension (antallet af receptorer). Således går deres største fordel tabt - evnen til at løse problemer med vilkårlig kompleksitet ved hjælp af enkle elementer.

Rosenblatt viste, at antallet af A-elementer kun afhænger af antallet af stimuli, der skal genkendes (se det foregående afsnit eller perceptronkonvergenssætningen ). Således, med en stigning i antallet af receptorer, hvis antallet af A-elementer er fast, afhænger perceptronens evne til at løse problemer med vilkårlig kompleksitet ikke direkte. Denne misforståelse kommer fra følgende sætning af Minsky:

Når vi undersøgte paritetsprædikatet, så vi, at koefficienterne kan vokse med |R| (antal punkter i billedet) eksponentielt [29] .

Derudover udforskede Minsky andre prædikater, såsom "ligestilling". Men alle disse prædikater repræsenterer en ret specifik opgave til generalisering og ikke til anerkendelse eller forudsigelse. Så for at perceptronen for eksempel kan opfylde "paritets"-prædikatet, skal den sige, om antallet af sorte prikker i et sort-hvidt billede er lige eller ej; og for at opfylde prædikatet "lighed" skal du sige, om højre side af billedet er lig med venstre side. Det er klart, at sådanne opgaver går ud over rækkevidden af ​​genkendelses- og forudsigelsesopgaver og er opgaver til generalisering eller blot til at beregne bestemte karakteristika. Dette blev overbevisende vist af Minsky og er en begrænsning ikke kun for perceptroner, men også for alle parallelle algoritmer , som ikke er i stand til at beregne sådanne prædikater hurtigere end sekventielle algoritmer. Derfor begrænser sådanne opgaver mulighederne for alle neurale netværk og perceptroner i særdeleshed, men dette har intet at gøre med de faste forbindelser i det første lag; da det for det første handlede om værdien af ​​forbindelseskoefficienterne for det andet lag, og for det andet er spørgsmålet kun i effektivitet og ikke i princippet. Det vil sige, at perceptronen også kan trænes til denne opgave, men hukommelseskapaciteten og indlæringshastigheden, der kræves hertil, vil være større end ved brug af en simpel sekventiel algoritme. Indførelsen af ​​træningsbare vægte i det første lag vil kun forværre situationen, fordi det vil kræve mere træningstid, fordi forholdsvariablerne mellem S og A hindrer snarere end bidrager til indlæringsprocessen [30] . Når man forbereder en perceptron til opgaven med at genkende stimuli af en speciel type, for at opretholde effektiviteten, vil der desuden kræves særlige betingelser for stokastisk læring [31] , hvilket blev vist af Rosenblatt i forsøg med en perceptron med variable S-A-bindinger .

Funktioner og begrænsninger af modellen

Modelegenskaber

Rosenblatt selv betragtede perceptronen primært som det næste vigtige skridt mod undersøgelse og brug af neurale netværk, og ikke som en færdig version af en " maskine, der er i stand til at tænke " [nb 9] . Selv i forordet til sin bog bemærkede han som svar på kritik, at "perceptronforskningsprogrammet hovedsageligt ikke er forbundet med opfindelsen af ​​enheder med "kunstig intelligens", men med studiet af fysiske strukturer og neurodynamiske principper" [32] .

Rosenblatt foreslog en række psykologiske tests for at bestemme neurale netværks muligheder: eksperimenter med diskrimination , generalisering , sekvensgenkendelse , dannelsen af ​​abstrakte begreber , dannelsen og egenskaberne ved " selvbevidsthed ", kreativ fantasi og andre [33] . Nogle af disse eksperimenter er langt fra perceptronernes nuværende muligheder, så deres udvikling er mere filosofisk i retning af konnektivisme . Ikke desto mindre er der for perceptroner blevet etableret to vigtige fakta, der finder anvendelse i praktiske problemer: muligheden for at klassificere (objekter) og muligheden for tilnærmelse (grænser for klasser og funktioner) [34] .

En vigtig egenskab ved perceptroner er deres evne til at lære, desuden ifølge en ret simpel og effektiv algoritme (se ovenfor ).

Modelbegrænsninger

Rosenblatt identificerede selv to grundlæggende begrænsninger for trelagsperceptroner (bestående af et S-lag, et A-lag og R-lag): deres manglende evne til at generalisere deres karakteristika til nye stimuli eller nye situationer og deres manglende evne til at analysere komplekse situationer i det ydre miljø ved at opdele dem i simplere [17] .

I 1969 udgav Marvin Minsky og Seymour Papert bogen Perceptrons, hvor de matematisk viste, at perceptroner som Rosenblatts grundlæggende ikke var i stand til at udføre mange af de funktioner, de ønskede fra perceptroner. Derudover var teorien om parallel computing på det tidspunkt dårligt udviklet, og perceptronen var fuldt ud i overensstemmelse med principperne for sådanne beregninger. I det store og hele viste Minsky fordelen ved sekventiel beregning frem for parallel i visse klasser af problemer forbundet med en invariant repræsentation. Hans kritik kan opdeles i tre temaer:

  1. Perceptroner har begrænsninger i opgaver relateret til den invariante repræsentation af billeder, det vil sige uafhængigt af deres position på sansefeltet og i forhold til andre figurer. Sådanne problemer opstår for eksempel, hvis vi skal bygge en maskine til at læse trykte bogstaver eller tal, så denne maskine kan genkende dem uanset deres placering på siden (det vil sige, så maskinens beslutning ikke påvirkes af oversættelse , rotation , stræk-komprimering af tegn) [6] ; eller hvis vi skal bestemme, hvor mange dele en figur består af [35] ; eller om to figurer er side om side eller ej [36] . Minsky beviste, at denne type problemer ikke kan løses fuldt ud ved hjælp af parallel computing, inklusive perceptronen.
  2. Perceptroner har ikke en funktionel fordel i forhold til analytiske metoder (for eksempel statistiske ) i opgaver relateret til forecasting [37] . Men i nogle tilfælde repræsenterer de en enklere og mere produktiv metode til dataanalyse .
  3. Det har vist sig, at nogle problemer i princippet kan løses af en perceptron, men kan kræve urealistisk lang tid [38] eller urealistisk stor hukommelse [39] .

Bogen af ​​Minsky og Papert påvirkede markant udviklingen af ​​videnskaben om kunstig intelligens, da den flyttede videnskabelig interesse og subsidier fra amerikanske regeringsorganisationer til en anden forskningsretning - den symbolske tilgang til AI .

Anvendelser af perceptroner

Her vil kun det grundlæggende i den praktiske anvendelse af perceptronen på to forskellige opgaver blive vist. Forudsigelsesproblemet ( og dets tilsvarende mønstergenkendelsesproblem ) kræver høj nøjagtighed, mens agentkontrolproblemet kræver en høj  indlæringshastighed. I betragtning af disse opgaver kan man derfor fuldt ud sætte sig ind i perceptronens muligheder, men dette er langt fra at udtømme mulighederne for dets brug.

I praktiske problemer vil perceptronen skulle kunne vælge mellem mere end to muligheder, hvilket betyder, at den skal have mere end et R-element ved udgangen. Som vist af Rosenblatt adskiller sådanne systemer sig ikke væsentligt fra karakteristikaene for en elementær perceptron [40] .

Forudsigelse og mønstergenkendelse

I disse opgaver er perceptronen forpligtet til at bestemme, om et objekt tilhører en klasse ved dens parametre (for eksempel efter udseende, form, silhuet). Desuden vil genkendelsens nøjagtighed i høj grad afhænge af repræsentationen af ​​perceptronens outputreaktioner. Tre typer kodning er mulige her: konfiguration , positionel og hybrid. Positionskodning, når hver klasse har sit eget R-element, giver mere nøjagtige resultater end andre typer. Denne type bruges for eksempel i arbejdet af E. Kussul et al. "Rosenblatt Perceptrons for Recognizing Handwritten Digits". Den er dog ikke anvendelig i tilfælde, hvor antallet af klasser er betydeligt, for eksempel flere hundrede. I sådanne tilfælde kan hybrid konfiguration-positionel kodning bruges, som det blev gjort i arbejdet med S. Yakovlev "Et system til genkendelse af bevægelige objekter baseret på kunstige neurale netværk."

Agentstyring

Inden for kunstig intelligens overvejes ofte læringsmidler (miljøtilpasning ) . Samtidig bliver det under usikkerhedsforhold vigtigt at analysere ikke kun aktuel information, men også den generelle kontekst af den situation, hvor agenten er faldet, derfor bruges feedback-perceptroner her [41] . Derudover bliver det i nogle opgaver vigtigt at øge indlæringshastigheden af ​​perceptronen, for eksempel ved hjælp af refraktær modellering [42] .

Efter en periode kendt som " Vinteren for kunstig intelligens ", genoplivede interessen for kybernetiske modeller i 1980'erne , da symbolske AI-fortalere ikke formåede at komme tæt på problemerne "Forståelse" og "Mening", hvilket forårsagede maskinoversættelse og teknisk mønstergenkendelse stadig har fatale mangler. Minsky selv udtrykte offentligt beklagelse over, at hans tale beskadigede begrebet perceptroner, selvom bogen kun viste manglerne ved en enkelt enhed og nogle af dens variationer. Men generelt er AI blevet synonymt med den symbolske tilgang, som kommer til udtryk i skabelsen af ​​stadig mere komplekse programmer til computere, der simulerer den menneskelige hjernes komplekse aktiviteter.

Se også

Noter

  1. ↑ "Perceptron"-indstillingen er den originale, brugt i oversættelsen af ​​Rosenblatts bog (1965), også i opslagsbogen: Explanatory Dictionary of Artificial Intelligence / Compilers A. N. Averkin, M. G. Gaaze-Rapoport , D. A. Pospelov . - M . : Radio og kommunikation, 1992. - 256 s. Varianten "perceptron" er mere almindelig, den opstod ved oversættelse af Minsky og Paperts bog (1971); se også: Encyclopedia of cybernetics. Bind 2. Mikh-Yach . - Kiev: Ch. udg. USE, 1974. - S. 156-158. Arkiveret kopi (ikke tilgængeligt link) . Hentet 1. februar 2009. Arkiveret fra originalen 31. marts 2009. 
  2. ↑ Især "Mark-1" var et system, der efterligner det menneskelige øje og dets interaktion med hjernen.
  3. ↑ "Tre-lag" i henhold til klassifikationen vedtaget af Rosenblatt, og "to-lag" ifølge den moderne notation - med den ejendommelighed, at det første lag ikke kan trænes.
  4. ↑ Den symbolske tilgang omfatter for eksempel oprettelse af ekspertsystemer , organisering af vidensbaser , tekstanalyse .
  5. ↑ Formelt set er A-elementer, ligesom R-elementer, addere med en tærskelværdi , det vil sige enkelte neuroner .
  6. ↑ Præsentationen i dette afsnit er noget forenklet på grund af kompleksiteten af ​​prædikatbaseret analyse.
  7. ↑ Et prædikat svarer kun til et input i et særligt tilfælde - kun når det afhænger af et argument.
  8. ↑ M. M. Bongard betragter denne opgave som den sværeste til at tegne et hyperplan i receptorernes rum.
  9. ↑ På de første stadier af udviklingen af ​​videnskaben om kunstig intelligens blev dens opgave betragtet i abstrakt forstand - skabelsen af ​​systemer, der ligner menneskelige sind (se kunstig generel intelligens ). Moderne opgaveformuleringer i AI har en tendens til at være mere nøjagtige.

Kilder

  1. ↑ Warren S. McCulloch og Walter Pitts . En logisk beregning af  ideerne i nervøs aktivitet  // Bulletin of Mathematical Biology . - New York : Springer New York , 1943. - V. 5 , nr. 4 . - S. 115-133 .
  2. ↑ 12 Donald Olding Hebb . Organisationen af ​​adfærd: En neuropsykologisk teori . - Wiley , 1949. - 335 s. Samtidsudgave: Donald Olding Hebb . Organisationen af ​​adfærd: En neuropsykologisk teori . - Lawrence Erlbaum Associates , 2002. - 335 s. - ISBN 0805843000 , ISBN 978-0-8058-4300-2 .
  3. ↑ Perceptrons: An Associative Learning Network . Hentet 2. maj 2008. Arkiveret fra originalen 19. august 2011.
  4. ↑ Perceptronens udseende  (utilgængeligt link)
  5. ↑ 1 2 Mønstergenkendelsessystemer (utilgængeligt link) . Hentet 4. oktober 2019. Arkiveret fra originalen 18. december 2017. 
  6. ↑ 1 2 Minsky M., Papert S., s. halvtreds.
  7. ↑ The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain (downlink) . Hentet 2. maj 2008. Arkiveret fra originalen 18. februar 2008. 
  8. ↑ 1 2 3 4 Rosenblatt F., p. 102.
  9. ↑ Fomin, S. V., Berkinblit, M. B. Matematiske problemer i biologi Arkiveret 21. december 2009 på Wayback Machine
  10. ↑ Rosenblatt, F., s. 158-162.
  11. ↑ Rosenblatt, F., s. 162-163.
  12. ↑ Bryukhomitsky Yu. A. Neurale netværksmodeller for informationssikkerhedssystemer, 2005.
  13. ↑ 1 2 3 Rosenblatt F., p. 81.
  14. ↑ 1 2 3 Rosenblatt, F., s. 200.
  15. ↑ 1 2 3 4 Rosenblatt F., p. 82.
  16. ↑ Rosenblatt F., s. 83.
  17. ↑ 1 2 Rosenblatt F., p. 93.
  18. ↑ Rosenblatt, F., s. 230.
  19. ↑ Minsky, Papert, s. 11-18.
  20. ↑ Minsky, Papert, s. atten.
  21. ↑ Rosenblatt, F., s. 85-88.
  22. ↑ Khaikin S., 2006, s. 96.
  23. ↑ Rosenblatt, F., s. 86.
  24. ↑ Khaikin S., 2006, s. 225-243, 304-316.
  25. ↑ Wasserman, F. Neurocomputer Engineering: Theory and Practice, 1992.
  26. ↑ Bongard, M. M., s. 29.
  27. ↑ Minsky M., Papert S., s. 59.
  28. ↑ Rosenblatt, F., s. 101.
  29. ↑ Minsky, Papert, s. 155, 189 (ikke ordret, forenklet for udtryksfuldhed).
  30. ↑ Rosenblatt, s. 239
  31. ↑ Rosenblatt, s. 242
  32. ↑ Rosenblatt, F., s. atten.
  33. ↑ Rosenblatt, F., s. 70-77.
  34. ↑ se Ezhov A. A., Shumsky S. A. "Neurocomputing ...", 2006. Forelæsning 3: Overvåget læring: Mønstergenkendelse Arkivkopi dateret 1. november 2011 på Wayback Machine
  35. ↑ Minsky M., Papert S., s. 76-98.
  36. ↑ Minsky M., Papert S., s. 113-116.
  37. ↑ Minsky M., Papert S., s. 192-214.
  38. ↑ Minsky, Papert, s. 163-187
  39. ↑ Minsky, Papert, s. 153-162
  40. ↑ Rosenblatt, F., s. 219-224.
  41. ↑ Yakovlev S. S. Brug af Jordan-gentagelsesprincippet i Rosenblatt-perceptronen, Journal "AUTOMATICS AND COMPUTING TECHNIQUE", Riga, 2009 Arkiveret 1. juli 2017 på Wayback Machine . Virtual Laboratory Wiki.
  42. ↑ Yakovlev S.S. , Investigation of Refractoriness principle in Recurrent Neural Networks, Scientific procedures of Riga Technical University, Issue 5, Vol.36, RTU, Riga, 2008, S. 41-48. Udforskning af princippet om refraktæritet i tilbagevendende neurale netværk (oversættelse) Arkiveret 7. marts 2016 på Wayback Machine .

Litteratur

Links

 Typer af kunstige neurale netværk