Kontrolleret tilbagevendende blokering

Gated Recurrent Units ( GRU ) er en portmekanisme til tilbagevendende neurale netværk introduceret i 2014. Det blev fundet, at dets effektivitet til at løse problemer med modellering af musik- og talesignaler er sammenlignelig med brugen af langtidshukommelsen (LSTM) . [1] Sammenlignet med LSTM har denne mekanisme færre parametre, pga der er ingen udløbsventil. [2]

Arkitektur

$\cirk$ betegner Hadamard-produktet . . $h_{0}=0$

{\begin{aligned}z_{t}&=\sigma _{g}(W_{z}x_{t}+U_{z}h_{t-1}+b_{z})\\r_ {t}&=\sigma _{g}(W_{r}x_{t}+U_{r}h_{t-1}+b_{r})\\h_{t}&=z_{t}\ circ h_{t-1}+(1-z_{t})\circ \sigma _{h}(W_{h}x_{t}+U_{h}(r_{t}\circ h_{t-1 })+b_{h})\end{aligned}}

Variabler

$x_t$ : inputvektor
$h_{t}$ : outputvektor
$z_{t}$ : Opdater portvektor
$r_{t}$ : relief gate vektor
$W$ , og : parametermatricer og vektor $U$ $b$

Aktiveringsfunktioner

$\sigma _{g}$ : baseret på sigmoid .
$\sigma _{h}$ : baseret på den hyperbolske tangent .

Se også

lang korttidshukommelse

Noter

↑ Chung, Junyoung; Gulcehre, Caglar; Cho, KyungHyun & Bengio, Yoshua (2014), Empirisk evaluering af lukkede tilbagevendende neurale netværk på sekvensmodellering, arΧiv : 1412.3555 [cs.NE].
↑ Gentagende Neural Network Tutorial, Del 4 - Implementering af en GRU/LSTM RNN med Python og Theano - WildML . Hentet 18. maj 2016. Arkiveret fra originalen 27. oktober 2015. (ubestemt)

Typer af kunstige neurale netværk

Feed-forward-netværk ( Netværk af radiale basisfunktioner )
Enkeltlags perceptron
Flerlagsperceptron ( Rosenblatt • Rumelhart )
Hopfield netværk
Markov kæde
Boltzmann maskine
Begrænset Boltzmann-maskine
Autoencoder ( Denoise autoencoder • Sparse autoencoder • Variationel autoencoder )
Dybt net af tillid
Konvolutionelt neuralt netværk
Deep Convolutional Neural Network
Udrulning af neuralt netværk
Deep Convolutional Inverse Graphic Network
Generativt modstridende netværk
Tilbagevendende neurale netværk
Rekursive neurale netværk
lang korttidshukommelse
Kontrolleret tilbagevendende blokering
Neurale Turing-maskiner
Tovejsnetværk ( Bidirektionalt tilbagevendende neuralt netværk • Tovejsnetværk med langtidshukommelse • Tovejskontrollerede tilbagevendende neuroner )
Deep Residual Network
Neural ekko netværk
Ekstrem læringsmetode
Metode til ustabile tilstande
Support vektor maskine
Kohonen netværk
Selvorganiserende kort over Kohonen
Kapsel neuralt netværk
Associativ hukommelse på neurale netværk

Machine learning og data mining
Opgaver	Klassifikationsproblem Læring uden lærer Lærerassisteret læring Regressions analyse AutoML Foreningens regler Feature Extraction Træning af træk Ranking træning Grammatisk afledning Online læring
At lære med en lærer	k-nærmeste nabo metode Naiv Bayes Classifier beslutningstræ Support vektor maskine Lineær regression Logistisk regression perceptron Ensembler af modeller Bagning boostning tilfældig skov Relevant vektormetode
klyngeanalyse	k-betyder metode Fuzzy klyngemetode Hierarkisk klyngedannelse EM algoritme BIRKE HELBREDE DBSCAN OPTIK Middel-forskydning
Dimensionalitetsreduktion	Faktoranalyse Hovedkomponentmetode CCA ICA LDA Ikke-negativ matrixudvidelse t-SNE
Strukturel prognose	Graf probabilistisk model Bayesiansk netværk Skjult Markov-model CRF
Anomali detektion	k-nærmeste nabo metode Lokalt emissionsniveau
Grafer sandsynlighedsmodeller	Bayesiansk netværk Markov netværk Skjult Markov-model
Neurale netværk	Begrænset Boltzmann-maskine selvorganiserende kort Aktiveringsfunktion Sigmoid softmax Radial basisfunktion Rygformeringsmetode Dyb læring Flerlagsperceptron Tilbagevendende neurale netværk lang korttidshukommelse Kontrolleret tilbagevendende blokering Konvolutionelt neuralt netværk U-Net Autoencoder
Forstærkende læring	Markov proces Bellmans ligning Grådig algoritme Q-læring SARSA Temporal forskel (TD)
Teori	Vapnik-Chervonenkis teori Bias-Dispersion Dilemma Beregningsmæssig læringsteori Empirisk risikominimering Occams læring PAC læring Statistisk læringsteori
Tidsskrifter og konferencer	NeurIPS ICML ML JMLR ArXiv:cs.LG