Deep learning ( deep learning ; eng. Deep learning ) - et sæt maskinlæringsmetoder ( med en lærer , med delvis involvering af en lærer , uden en lærer , med forstærkning ) baseret på læringsrepræsentationer ( eng. feature/representation learning ), og ikke specialiserede algoritmer under specifikke opgaver. Mange deep learning-metoder var kendt tilbage i 1980'erne (og endnu tidligere [1] ), men resultaterne var ikke imponerende [2] før fremskridt i teorien om kunstige neurale netværk (fortræning af neurale netværk ved brug af et særligt tilfælde af en ikke-retningsbestemt grafisk model, den såkaldte begrænsede maskine Boltzmann ) og computerkraften i midten af 2000'erne (inklusive dem, der brugte grafikacceleratorer , brugerprogrammerbare gate-arrays og forskellige former for neurale processorer ) tillod ikke skabelsen af komplekse teknologiske arkitekturer af neurale netværk , der har tilstrækkelig ydeevne og tillader løsning af en lang række problemer, der ikke kunne løses effektivt tidligere, for eksempel inden for computersyn , maskinoversættelse , talegenkendelse , og kvaliteten af løsningen er i mange tilfælde nu sammenlignelig, og i nogle tilfælde overgår menneskelig effektivitet [3] .
På trods af, at udtrykket " deep learning " først dukkede op i det videnskabelige samfund af maskinlæring i 1986 efter Rina Dekhters arbejde [4] , blev den første generelle arbejdsalgoritme for dyb feed-forward flerlagsperceptroner udgivet i bogen af Sovjetunionen videnskabsmændene Alexei Grigorievich Ivakhnenko og Valentin Grigorievich Lapa "Cybernetic predictive devices", tilbage i 1965 [5]
Andre dybe arkitekturer, især dem, der er specialiseret i mønstergenkendelse , har deres oprindelse i neokognitronen udviklet af Kunihiko Fukushima.i 1980. I 1989 lykkedes det Jan LeCun at bruge backpropagation- algoritmen til at træne dybe neurale netværk til at løse problemet med at genkende håndskrevne postnumre [6] . På trods af den succesfulde oplevelse tog det tre dage at træne modellen, hvilket begrænsede anvendeligheden af denne metode betydeligt. Den lave indlæringsrate er forbundet med mange faktorer, herunder problemet med forsvindende gradienter på grund af den store spredning i værdierne af oplærbare parametre, som blev analyseret i 1991 af Jörgen Schmidhuber og Sepp Hochreiter. På grund af disse problemer gav neurale netværk plads til at understøtte vektormaskiner i 1990'erne .
I 1991 blev sådanne systemer brugt til at genkende isolerede 2D-håndskrevne cifre, og 3D-objektgenkendelse blev opnået ved at matche 2D-billeder til en håndlavet 3D-objektmodel. I 1992 blev en model af en cresceptron skabt [7] [8] [9] til genkendelse af tredimensionelle objekter i rodede scener.
I 1994 offentliggjorde André de Carvalho sammen med Mike Fairhurst og David Bisset de eksperimentelle resultater af et flerlags boolsk neuralt netværk, også kendt som et vægtløst neuralt netværk, bestående af et tre-lags selvorganiserende neuralt netværksmodul til funktionsudtrækning ( SOFT) og derefter en lagdelt neural netværksmodulklassifikation (GSN). Hvert modul gennemgik selvstændig træning. Hvert lag i modulet hentede objekter med stigende kompleksitet i forhold til det forrige lag. [ti]
I 1995 demonstrerede Brendan Frey, at det var muligt at træne (på to dage) et netværk indeholdende seks fuldt forbundne lag og flere hundrede skjulte enheder ved hjælp af en søvn-vågningsalgoritme udviklet med Peter Dayan og Hinton [11] . Mange faktorer bidrager til langsom hastighed, herunder problemet med forsvindende gradient analyseret i 1991 af Sepp Hochreiter [12] [13] .
Enklere modeller, der bruger opgavespecifikt manuelt arbejde, såsom Gabor-filtre og støttevektormaskiner (SVM'er), var populære valg i 1990'erne og 2000'erne på grund af de beregningsmæssige omkostninger ved kunstige neurale netværk (ANN'er). .ANN) og mangel på forståelse af, hvordan hjernen forbinder sine biologiske netværk.
Både overflade- og deep learning (f.eks. tilbagevendende netværk) ANN'er er blevet undersøgt i mange år [14] [15] [16] . Disse metoder har aldrig udkonkurreret heterogene blandede Gaussiske og skjulte Markov- modeller baseret på diskriminerende trænede generative talemodeller [17] . Nøglevanskeligheder blev analyseret, herunder gradientreduktion [12] og svag tidsmæssig korrelationsstruktur i neurale prædiktive modeller [18] [19] . Yderligere vanskeligheder var manglen på træningsdata og begrænset computerkraft.
Deep learning vandt popularitet i midten af 2000'erne, da alt kom sammen: computere blev kraftige nok til at træne store neurale netværk (de lærte at uddelegere beregninger til GPU'er , hvilket accelererede indlæringsprocessen med en størrelsesorden), datasæt blev store nok til at træne store netværk gav mening, og endnu et fremskridt fandt sted i teorien om kunstige neurale netværk - artikler af Hinton , Osinderero og Tae [20] , samt Bengio [21] , hvori forfatterne viste, at det er muligt effektivt at fortræne et flerlags neuralt netværk, hvis hvert lag trænes separat i at bruge en begrænset Boltzmann-maskine , og derefter genoptræning ved hjælp af backpropagation- metoden .
I 2012 vandt et hold ledet af George E. Dahl Merck Molecular Activity Challenge ved at bruge multitasking dybe neurale netværk til at forudsige det biomolekylære mål for et enkelt lægemiddel [22] . I 2014 brugte Hochreiters gruppe dyb læring til at identificere off-target og toksiske effekter af miljøkemikalier i næringsstoffer, husholdningsprodukter og lægemidler, og vandt "Tox21 Data Challenge" fra U.S. National Institutes of Health , US Food and Drug Administration . fødevare- og lægemiddelkvalitet og NCATS [23] .
En betydelig udvikling i billed- eller objektgenkendelse blev mærket mellem 2011 og 2012. Mens backpropagated convolutional neural networks (CNN'er) har eksisteret i årtier, og GPU'er har implementeret neurale netværk i mange år, inklusive CNN'er, er hurtige implementeringer af CNN'er på GPU'en blevet brugt til at fremme computersyn. I 2011 opnåede denne tilgang overmenneskelige præstationer for første gang i en konkurrence om visuel mønstergenkendelse. Også i 2011 vandt han ICDAR håndskriftskonkurrencen, og i maj 2012 ISBI billedsegmenteringskonkurrencen [24] . Indtil 2011 spillede CNN'er ikke nogen større rolle ved computervisionskonferencer, men i juni 2012 viste en præsentation af Ciresan [25] på flagskibet CVPR-konferencen, hvordan den maksimale integration af CNN'er på en GPU markant kan forbedre mange benchmark-resultater. I oktober 2012 blev et lignende system udviklet af Krizhevsky [26] , hvis hold vandt den store ImageNet -konkurrence med en betydelig margin i forhold til maskinlæringsmetoder på overfladen. I november 2012 vandt Ciresan-holdet også ICPR-konkurrencen for stor medicinsk billedanalyse til kræftpåvisning, og året efter MICCAI Grand Challenge om samme emne [27] . I 2013 og 2014 blev fejlprocenten i ImageNet-opgaven ved hjælp af deep learning yderligere reduceret på grund af en lignende tendens i storstilet talegenkendelse. Steven Wolfram offentliggjorde disse forbedringer som en del af Image Identification Project [28] .
Billedklassificering blev derefter udvidet til den mere komplekse opgave at generere beskrivelser (billedtekster) til billeder, ofte som en kombination af CNN og LSTM [29] [30] [31] [32] .
Nogle forskere mener, at ImageNets sejr i oktober 2012 markerede begyndelsen på en "deep learning revolution", der ændrede AI-industrien [33] .
I marts 2019 blev Yoshua Bengio , Geoffrey Hinton og Yann LeCun tildelt Turing-prisen for konceptuelle og ingeniørmæssige gennembrud, der har gjort dybe neurale netværk til en kritisk komponent i computing.
Kunstige neurale netværk (ANN'er) er beregningssystemer baseret på principperne for biologiske neurale netværk , der udgør dyrehjernen. Sådanne systemer lærer (gradvis forbedrer deres evner) til at udføre opgaver, normalt uden at være programmeret til at løse specifikke opgaver. For eksempel kan de i billedgenkendelse af katte lære at genkende billeder, der indeholder katte, ved at analysere eksempler på billeder, der manuelt er blevet mærket "kat" eller "ingen kat" og bruge resultaterne af analysen til at identificere katte på andre billeder. ANN'er har fundet deres største brug i softwareapplikationer, der er svære at udtrykke med en traditionel computeralgoritme, der bruger regelbaseret programmering .
ANN'er er baseret på et sæt af forbundne enheder kaldet kunstige neuroner (svarende til biologiske neuroner i den biologiske hjerne). Hver forbindelse (synapse) mellem neuroner kan sende et signal til en anden neuron. Den modtagende (postsynaptiske) neuron kan behandle signalet/signalerne og derefter signalere de neuroner, der er forbundet til det. Neuroner kan have en tilstand, normalt repræsenteret ved reelle tal, normalt mellem 0 og 1. Neuroner og synapser kan også have vægte, der ændrer sig under indlæring, hvilket kan øge eller mindske styrken af det signal, det udsender.
Typisk er neuroner organiseret i lag. Forskellige lag kan udføre forskellige former for transformationer. Signalerne bevæger sig fra det første (input) til det sidste (output) lag, muligvis efter at have passeret gennem lagene flere gange.
Det oprindelige mål med den neurale netværkstilgang var at løse problemer på samme måde som den menneskelige hjerne gør. Over tid har opmærksomheden fokuseret på udvælgelsen af visse intellektuelle evner, hvilket førte til afvigelser fra biologien, såsom backpropagation, eller transmission af information i den modsatte retning og oprettelse af et netværk til at afspejle denne information.
Neurale netværk bruges til en række forskellige opgaver, herunder maskinsyn, talegenkendelse, maskinoversættelse, filtrering af sociale medier, videospil og medicinsk diagnostik.
Fra 2017 har neurale netværk typisk et par tusinde til et par millioner enheder og millioner af forbindelser. På trods af at dette tal er adskillige størrelsesordener mindre end antallet af neuroner i den menneskelige hjerne, kan disse netværk udføre mange opgaver på et niveau, der overstiger menneskers evner (f.eks. ansigtsgenkendelse, spille go ) [34] .
Et dybt neuralt netværk (DNN, DNN - Deep neural network) er et kunstigt neuralt netværk (ANN) med flere lag mellem input- og outputlagene [35] [36] . GNN finder den korrekte matematiske transformationsmetode til at omdanne input til et output, uanset om korrelationen er lineær eller ikke-lineær . Netværket bevæger sig gennem lagene og beregner sandsynligheden for hver udgang. For eksempel vil en DNN, der er trænet til at genkende hunderacer, gå gennem et givent billede og beregne sandsynligheden for, at en hund på billedet tilhører en bestemt race. Brugeren kan se resultaterne og vælge de sandsynligheder, netværket skal vise (for eksempel over en vis tærskel) og returnere en foreslået etiket til netværket. Hver matematisk transformation betragtes som et lag, og komplekse GNN'er har mange lag, deraf navnet "dybe" eller "dybe" netværk.
GNN'er kan modellere komplekse ikke-lineære relationer. GNN-arkitekturer genererer kompositionsmodeller, hvor et objekt udtrykkes som en flerniveausammensætning af primitiver [37] . Yderligere lag gør det muligt at sammensætte elementer fra lavere niveauer, der potentielt modellerer komplekse data med færre enheder end et fint netværk med lignende metrikker [35] .
Dyb arkitektur omfatter mange variationer af flere grundlæggende tilgange. Hver arkitektur har fundet succes på visse områder. Det er ikke altid muligt at sammenligne ydeevnen af flere arkitekturer, medmindre de er blevet evalueret på de samme datasæt.
GNN'er er typisk feed-forward-netværk, hvor data overføres fra et inputlag til et outputlag uden feedback. For det første opretter GNN et kort over virtuelle neuroner og tildeler tilfældige numeriske værdier eller "vægte" til forbindelserne mellem dem. Vægtene og inputdataene multipliceres og returnerer et udgangssignal fra 0 til 1. Hvis netværket ikke nøjagtigt genkender et bestemt mønster, vil algoritmen justere vægtene, indtil den bestemmer koefficienterne, der korrekt behandler dataene. [38]
Deep learning er karakteriseret som en klasse af maskinlæringsalgoritmer , der [39] :
Alle definitioner angiver
Sammensætningen af specifikke ikke-lineære lag afhænger af problemet, der skal løses. Både skjulte lag af det neurale netværk og lag af komplekse logiske transformationer bruges [40] . Systemet kan inkludere latente variable organiseret i lag i dybe generative modeller såsom noder i et dybt net af tillid og en dybt begrænset Boltzmann-maskine .
Deep learning algoritmer er i modsætning til overfladiske indlæringsalgoritmer med hensyn til antallet af parameteriserede transformationer, som signalet møder, når det udbreder sig fra inputlaget til outputlaget, hvor en parameteriseret transformation anses for at være en databehandlingsenhed, der har oplærbare parametre som f.eks. som vægte eller tærskler [41] . Kæden af transformationer fra input til output kaldes CAP - ved at overføre ansvar ( engelsk credit assignment path, CAP ). CAP'er beskriver potentielle årsagssammenhænge langs netværket fra input til output, og stien i forskellige grene kan have forskellig længde. For et feedforward neuralt netværk afviger CAP-dybden ikke fra netværksdybden og er lig med antallet af skjulte lag plus et (outputlaget er også parametriseret). For tilbagevendende neurale netværk , hvor signalet kan springe gennem lag uden om mellemliggende, er CAP potentielt ubegrænset i længde på grund af feedback. Der er ingen universelt aftalt tærskel for opdelingsdybden af overfladisk læring fra dyb læring, men dyb læring anses generelt for at være karakteriseret ved flere ikke-lineære lag (CAP > 2). Jørgen Schmidhuber fremhæver også "meget dyb læring", når CAP > 10 [41] .
Deep learning er en maskinlæringsalgoritme til modellering af abstraktioner på højt niveau ved hjælp af flere ikke-lineære transformationer [39] [40] [41] [42] [43] .
Først og fremmest omfatter deep learning følgende metoder og deres variationer:
Ved at kombinere disse metoder skabes komplekse systemer, der svarer til forskellige kunstige intelligensopgaver .
Deep learning er et valideret udvalg fra en bred familie af maskinlæringsmetoder til at repræsentere de data, der passer bedst til problemets natur. Et billede kan for eksempel repræsenteres på mange måder, såsom en intensitetsvektor af værdier pr. pixel, eller (i en mere abstrakt form) som et sæt af primitiver, regioner med en bestemt form osv. Succesfulde datarepræsentationer gøre det nemmere at løse specifikke problemer - for eksempel ansigtsgenkendelse og ansigtsudtryk [44] ). I deep learning-systemer automatiserer den processen med funktionsvalg og tuning, udfører funktionsindlæring uden en lærer eller med delvis involvering af en lærer , ved hjælp af effektive algoritmer og hierarkisk funktionsudtrækning [45] til dette .
Forskning på dette område har forbedret modeller til at arbejde med store mængder umærkede data. Nogle tilgange er opstået fra fremskridt inden for neurovidenskab , fremskridt inden for fortolkning af informationsbehandling, opbygning af kommunikationsmodeller i nervesystemet , såsom neural kodning forbundet med at bestemme forholdet mellem stimulus og neurale reaktioner, og forholdet mellem elektrisk aktivitet mellem neuroner i hjernen [46] .
Deep learning-systemer har fundet anvendelse inden for områder som computersyn , talegenkendelse , naturlig sprogbehandling , lydgenkendelse, bioinformatik , hvor der blev demonstreret væsentligt bedre resultater end tidligere for en række opgaver.
På trods af succesen med at bruge deep learning, har den stadig en grundlæggende begrænsning: Deep learning-modeller er begrænset i, hvad de kan repræsentere, og de fleste programmer kan ikke udtrykkes som en kontinuerlig geometrisk morphing af en række data [47] .
Der er dog stadig den skeptiske forestilling om, at deep learning ikke er andet end et buzzword eller et rebrand for neurale netværk [48] [49] .
| Machine learning og data mining | |
|---|---|
| Opgaver | |
| At lære med en lærer | |
| klyngeanalyse | |
| Dimensionalitetsreduktion | |
| Strukturel prognose | |
| Anomali detektion | |
| Grafer sandsynlighedsmodeller | |
| Neurale netværk | |
| Forstærkende læring |
|
| Teori | |
| Tidsskrifter og konferencer |
|