Dybt net af tillid

Den aktuelle version af siden er endnu ikke blevet gennemgået af erfarne bidragydere og kan afvige væsentligt fra den version , der blev gennemgået den 24. oktober 2018; checks kræver 8 redigeringer .

Deep belief network (GSD, eng.  deep belief network, DBN ) er en generativ grafisk model , eller med andre ord en af ​​typerne af dybe neurale netværk, der består af flere skjulte lag , hvori neuroner inden for et lag ikke er forbundet med hinanden, men forbundet med tilstødende neuroner. [en]

Når man lærer på et sæt eksempler på en spontan måde, kan GSD lære at sandsynligt indstille sine input. Lag fungerer i dette tilfælde som detektorer af tegn på input. [1] Ved afslutningen af ​​uddannelsen kan GSD trænes med en lærer til at udføre klassifikation . [2]

GDN kan opfattes som en sammensætning af simple, spontane netværk, såsom Restricted Boltzmann Machines (BMBs) [1] eller autoencodere , [3] hvori det skjulte lag af hvert undernet fungerer som det synlige lag for det næste. Dette giver mulighed for en hurtig uovervåget lag-for-lag-indlæringsprocedure, hvor relativ divergens påføres hvert undernet efter tur, startende med det første par lag (på hvis synlige lag træningssættet af eksempler fødes ).

Engelsk observation .  Yee-Whye Teh , en elev af Geoffrey Hinton , [2] foreslår, at GDS kan trænes på en grådig lagdelt læringsmåde , som var en af ​​de første brugbare dybe læringsalgoritmer . [4] :6 :6

Læringsalgoritme

GSD-træningsalgoritmen fungerer som følger. [2] Lad X være en matrix af input, som betragtes som et sæt funktioner .

  1. Repræsenter de to nederste lag (input og først skjult) som en begrænset Boltzmann-maskine (BM). Træn den på inputdata X og få dens vægtmatrix W, som vil beskrive forbindelserne mellem de to nederste lag af netværket.
  2. Send inputdata X gennem den trænede Boltzmann-maskine og få data fra det skjulte lag X' som output efter aktivering af noderne i det første skjulte lag.
  3. Gentag denne procedure med X ← X' for hvert næste par lag, indtil de to øverste lag af netværket er trænet.
  4. Finjuster alle parametre i dette dybe netværk, mens du bibeholder log-sandsynligheden for GDN eller brug overvåget læring (efter tilføjelse af yderligere læringsmekanismer til at udføre det trænede netværksarbejde, f.eks. en lineært adskillelig klassifikator).

Se også

Noter

  1. ↑ 1 2 3 Dybe trosnetværk  (ubestemt)  // Scholarpedia . - 2009. - T. 4 , nr. 5 . - S. 5947 . doi : 10.4249 /scholarpedia.5947 .
  2. ↑ 1 2 3 Hinton, GE; Osindero, S.; Teh, YW (2006).
  3. ↑ Greedy Layer-Wise Training of Deep Networks (PDF) . NIPS . 2007. Arkiveret 20. oktober 2019 på Wayback Machine
  4. ↑ At lære dybe arkitekturer for AI  (ubestemt)  // Fundamenter og tendenser i maskinlæring. - 2009. - T. 2 . - doi : 10.1561/2200000006 .

Link

 Typer af kunstige neurale netværk