Associativ hukommelse på neurale netværk

Den aktuelle version af siden er endnu ikke blevet gennemgået af erfarne bidragydere og kan afvige væsentligt fra den version , der blev gennemgået den 29. april 2016; checks kræver 11 redigeringer .

[en]

Menneskelig hukommelse er associativ, det vil sige, at en bestemt hukommelse kan generere et stort område forbundet med det. Den ene genstand minder os om en anden, og denne anden om en tredje. Hvis vi tillader vores tanker , vil de bevæge sig fra emne til emne langs kæden af ​​mentale associationer . For eksempel kan et par bjælker med musik fremkalde en hel række af sanseminder, herunder kulisser, lyde og lugte. I modsætning hertil er konventionel computerhukommelse lokalt adresserbar, idet den præsenterer en adresse og henter information på den adresse.

Associativ hukommelse og kunstig intelligens

Et kunstigt neuralt netværk med feedback danner en associativ hukommelse. Ligesom menneskets hukommelse, ifølge en given del af den nødvendige information, hentes al information fra "hukommelsen".

Autoassociativ hukommelse  er en hukommelse , der kan fuldføre eller rette et billede, men som ikke kan knytte det resulterende billede til et andet billede. Denne kendsgerning er resultatet af en enkelt-niveau struktur af associativ hukommelse, hvor vektoren vises ved outputtet af de samme neuroner, der modtager inputvektoren. Sådanne netværk er ustabile. For et stabilt netværk resulterer successive iterationer i mindre og mindre ændringer i output, indtil outputtet til sidst bliver konstant. For mange netværk slutter processen aldrig. Ustabile netværk har interessante egenskaber og er blevet undersøgt som et eksempel på kaotiske systemer. I en vis forstand kan dette opnås uden feedback, for eksempel med en perceptron i tilfælde, hvor stabilitet er vigtigere end at studere kaotiske systemer.

Heteroassociativ hukommelse  er en hukommelse, hvor der, når en stimulus ankommer til et sæt neuroner, vises en feedback-respons på et andet sæt neuroner.

Den første auto-associative hukommelsesmodel blev udviklet af Hopfield, Hopfield Neural Network . For at opnå stabilitet skulle vægtkoefficienterne vælges på en sådan måde, at de dannede energiminima ved de krævede hjørner af en enhedshyperkube.

Efterfølgende udviklede Kosko ideerne fra Hopfield og udviklede en model for heteroassociativ hukommelse - tovejs associativ hukommelse (BDA).

Men nøjagtig det samme resultat kan opnås ved hjælp af en bred klasse af tilbagevendende neurale netværk , et klassisk eksempel på dem er Elman-netværket , mens stabilitetsproblemet forsvinder, og så strenge betingelser ikke pålægges vægtkoefficienterne, på grund af hvilke netværket har en større kapacitet. Derudover kan tilbagevendende neurale netværk beskrive en tilstandsmaskine uden at miste alle fordelene ved kunstige neurale netværk.

Associativ hukommelse og programmering

En række værker betragtede mulighederne i begrebet associativ hukommelse som anvendt på programmeringssprog og hardwareimplementering af processoren . Og følgende blev brugt som en arbejdsdefinition:

Associativ hukommelse forstås normalt som et bestemt sæt eller samling af elementer, der har evnen til at lagre information. Disse elementer tilgås samtidigt og parallelt i overensstemmelse med indholdet af de data, der er lagret i dem, og ikke ved at angive elementets adresse eller placering.

Men en sådan forståelse af associativ hukommelse afspejler i det væsentlige kun kendsgerningen om eksistensen af ​​relationer mellem data og har intet at gøre med selve informationslagringsmekanismen. Derfor bruges udtrykket "indholdsadresserbar hukommelse" (CAM) til at henvise til en sådan informationslagringsmekanisme.

Da der først blev lagt vægt på designet af "indholdsadresserbar hukommelse", blev det muligt at forenkle kravene til selve forståelsen af ​​associativitet, og at udvikle enheder, der kun har associativitet i en eller anden forstand. Så f.eks. er den første ting, der er blevet forenklet, antagelsen om, at parallelitet i udførelse af søgeoperationer ikke i det væsentlige er en grundlæggende funktionel egenskab.

Den anden forenkling er forbundet med benægtelsen af ​​behovet for distribueret hukommelse, da associativitet i betydningen hukommelse, med adressering efter indhold, formelt kan opnås uden behov for at distribuere information mellem hukommelseselementer. I modsætning hertil er det muligt at gemme en informationsenhed integreret i en bestemt celle, idet man kun har information om denne celles direkte forbindelser med andre - således kommer vi til at forstå semantiske netværk . Disse principper bruges også til indeksering og søgning i moderne databaser. Naturligvis i denne forstand modsiger denne forenkling ideerne om konnektivisme (som er baseret på kunstige neurale netværk ), og flyder jævnt til symbolismens ideer.

Det vigtigste, der går tabt i denne forenkling, er en af ​​de fantastiske egenskaber ved biologisk hukommelse. Det er kendt, at forskellige former for skader på hjernevævet fører til krænkelser af hukommelsens funktionelle egenskaber. Ikke desto mindre viste det sig at være usædvanligt vanskeligt at isolere de fænomener, der er forbundet med lokalisering af hukommelsesfunktioner i arbejdet med individuelle neurale strukturer. Forklaringen på dette er baseret på antagelsen om, at hukommelsesspor er repræsenteret i hjernen i form af rumligt fordelte strukturer dannet som følge af en vis transformation af primære opfattelser.

Men ikke desto mindre, selvom med en sådan forenkling, gik en række biologisk plausible egenskaber tabt, hvilket er vigtigt i hjernemodellering , men i teknisk forstand blev det klart, hvordan man implementerer en hukommelse, der kan adresseres efter indhold. Takket være dette dukkede ideer om hashing op , som derefter blev implementeret både i programmeringssprog og i hardwareimplementeringen af ​​nogle processorer.

Den tredje forenkling er relateret til nøjagtigheden af ​​at matche de påkrævede oplysninger. Sampling af data baseret på dets indhold involverer altid en eller anden form for sammenligning af en eksternt specificeret nøgle, som bør søges i, med nogle eller alle de oplysninger, der er lagret i hukommelsesceller. Formålet med sammenligningen bør ikke altid være fremkomsten af ​​information, der matcher nøglen. For eksempel, når du søger efter værdier, der er placeret inden for et givet interval. I dette tilfælde har vi den klassiske måde at bruge SQL på , når du vælger fra en database . Men en søgemulighed er mulig, hvor det er nødvendigt blandt datasættet at finde dem, der bedst (i betydningen af ​​en given foranstaltning) svarer til nøgleinformationen.

I denne formulering er problemet med associativ sampling meget tæt på problemet med mønstergenkendelse . Men de metoder, der bruges, er afgørende - hvis betydningen af ​​associativitet ikke er underlagt de her beskrevne forenklinger, så har vi at gøre med mønstergenkendelse ved hjælp af kunstige neurale netværk , ellers har vi at gøre med optimering af driften af ​​databaser (såvel som hardware). caches af processorer) eller metoder til associativ repræsentation af data (for eksempel semantiske netværk ). Herfra burde det være klart, at den associative repræsentation af data og nogle metoder til at arbejde med indholdsadresserbar hukommelse ikke er tilstrækkelige til at forstå associativ hukommelse i ordets fulde betydning.

Den fjerde forenkling kan relateres til det såkaldte problem med tidsmæssige associationer , som fra et programmeringssynspunkt hører til teorien om automater . Disse problemer er forbundet med udviklingen af ​​metoder til lagring og genfinding af tidsordnede sekvenser fra hukommelsen. Samtidig kan de forgrene sig og danne sekundære alternative sekvenser, og overgangen til en af ​​dem bestemmes af indholdet af nogle baggrunds- eller kontekstuelle oplysninger. Disse sekvenser kan også indeholde lukkede sløjfer.

Ud fra et synspunkt om programmering eller symbolisme , i forhold til associativ hukommelse, er der altså alle de samme problemer og opgaver som i kunstig intelligens . Forskellen er, at der i programmering kan foretages forenklinger og konstrueres metoder, der kun delvist tilfredsstiller forståelsen af ​​associativ hukommelse. Mens konnektivisme forsøger at løse problemet med associativ hukommelse, har metoder, der ikke indeholder forenklinger i de her beskrevne betydninger, en vis stokasticitet og uforudsigelighed i metodens forstand, men giver i sidste ende et meningsfuldt resultat inden for områderne mønstergenkendelse eller adaptiv styring.

Se også

Noter

  1. Associativ hukommelse  (russisk)  ? . Hentet 8. maj 2021. Arkiveret fra originalen 9. maj 2021.

Litteratur