Rekursive neurale netværk

Rekursive neurale netværk ( eng.  Rekursive neurale netværk ; RvNN ) er en type neurale netværk , der arbejder med data af variabel længde. Rekursive netværksmodeller bruger hierarkiske mønsterstrukturer i træning. For eksempel billeder sammensat af scener, der kombinerer underscener, der omfatter mange objekter. At afsløre scenestrukturen og dens dekonstruktion er ikke en triviel opgave. I dette tilfælde er det nødvendigt både at identificere individuelle objekter og hele scenens struktur.

I rekursive netværk aktiveres neuroner med samme vægt rekursivt i henhold til netværkets struktur. Under driften af ​​det rekursive netværk udvikles en model til at forudsige strukturer med variabel dimension og skalære strukturer gennem aktivering af strukturen i overensstemmelse med topologien. RvNN'er er med succes blevet brugt til at træne sekventielle strukturer og træer i naturlig sprogbehandling , hvor sætninger og sætninger er modelleret gennem ordvektorrepræsentationer . RvNN'er dukkede oprindeligt op for den distribuerede repræsentation af strukturer ved hjælp af prædikater af matematisk logik . [1] Udviklingen af ​​rekursive netværk og de første modeller begyndte i midten af ​​1990'erne. [2][3]

Arkitektur

Grundlæggende element

I den enkleste arkitektur konvergerer netværkets knudepunkter til forældrene gennem en skjult lagvægtmatrix, der bruges gentagne gange i hele netværket, og en ikke-lineær aktiveringsfunktion af typen hyperbolsk tangent . Hvis c 1 og c 2  er n - dimensionelle repræsentationer af netværksknuder, så er deres forældre også n - dimensionelle vektorer, beregnet som

Her er W  den trænede vægtmatrix .

Denne arkitektur, med en vis forbedring, bruges til sekventiel afkodning af naturlige billedscener eller til strukturering af naturlige sprogsætninger. [fire]

Rekursiv kaskadekorrelation (RecCC)

Rekursiv vandfaldskorrelation RecCC er en tilgang til at konstruere rekursive netværk, der opererer med tre domæner [2] , de første applikationer af denne art dukkede op i kemien [5] , og udvidelsen danner en rettet acyklisk graf . [6]

Rekursive ikke-overvågede netværk

I 2004 blev der foreslået et uovervåget rekursivt netværkslæringssystem . [7] [8]

Tensor netværk

Tensor rekursive netværk bruger én tensorfunktion for alle træknuder. [9]

Træning

Stokastisk gradientnedstigning

Stokastisk gradientnedstigning (SGD) bruges normalt til træning . Gradienten er defineret gennem end-to-end error backpropagation framework (BPTS), denne metode er en modifikation af tidsserie backpropagation brugt til at træne tilbagevendende neurale netværk .

Funktioner

Litteraturen bekræfter evnen til universel tilnærmelse af tilbagevendende netværk over træ-type netværk. [10] [11]

Relaterede modeller

Tilbagevendende neurale netværk

Et recurrent neuralt netværk er et rekursivt netværk med en bestemt struktur – i form af en lineær kæde. Rekursive netværk opererer på strukturer af en generel type, herunder et hierarki, tilbagevendende netværk opererer udelukkende på en lineær progression i tid, der forbinder det forrige tidspunkt med det næste gennem et skjult neuralt lag.

Tree Echo State Network

Træekko-netværket er et effektivt eksempel på rekursive neurale netværk [12] ved hjælp af Reservoir computing-paradigmet.

Udvidelser til grafer

Udvidelse af strukturen til grafer producerer et grafisk neuralt netværk (GNN), [13] , et neuralt netværk for grafer (NN4G), [14] og nyere foldende neurale netværk til grafer.

Links

1. ↑ Goller, C.; Küchler, A. Læring af opgaveafhængige distribuerede repræsentationer ved backpropagation gennem struktur  //  Neural Networks, 1996. IEEE : journal. - doi : 10.1109/ICNN.1996.548916 .
2. ↑ 1 2 Sperduti, A.; Starita, A. Overvågede neurale netværk til klassificering af strukturer  // IEEE-  transaktioner på neurale netværk : journal. - 1997. - 1. maj ( bind 8 , nr. 3 ). - s. 714-735 . — ISSN 1045-9227 . - doi : 10.1109/72.572108 .
3. ↑ Frasconi, P.; Gori, M.; Sperduti, A. En generel ramme for adaptiv behandling af datastrukturer  // IEEE-  transaktioner på neurale netværk : journal. - 1998. - 1. september ( bind 9 , nr. 5 ). - s. 768-786 . — ISSN 1045-9227 . - doi : 10.1109/72.712151 .
4. ↑ Socher, Richard; Lin, Cliff; Ng, Andrew Y.; Manning, Christopher D. Parsing af naturlige scener og naturligt sprog med rekursive neurale netværk  (eng.)  // The 28th International Conference on Machine Learning (ICML 2011): tidsskrift.
5. ↑ Bianucci, Anna Maria; Micheli, Alessio; Sperduti, Alessandro; Starita, Antonina. Anvendelse af kaskadekorrelationsnetværk for strukturer til kemi  (engelsk)  // Applied Intelligence: tidsskrift. - 2000. - Vol. 12 , nr. 1-2 . - S. 117-147 . — ISSN 0924-669X . - doi : 10.1023/A:1008368105614 .
6. ↑ Micheli, A.; Sona, D.; Sperduti, A. Kontekstuel behandling af strukturerede data ved rekursiv kaskadekorrelation  // IEEE-  transaktioner på neurale netværk : journal. - 2004. - 1. november ( bind 15 , nr. 6 ). - S. 1396-1410 . — ISSN 1045-9227 . - doi : 10.1109/TNN.2004.837783 .
7. ↑ Hammer, Barbara; Micheli, Alessio; Sperduti, Alessandro; Strickart, Marc. Rekursive selvorganiserende netværksmodeller  (ubestemt)  // Neurale netværk. - 2004. - T. 17 . - S. 1061-1085 .
8. ↑ Hammer, Barbara; Micheli, Alessio; Sperduti, Alessandro; Strickart, Marc. En generel ramme for uovervåget behandling af strukturerede data  //  Neurocomputing : journal. - 2004. - 1. marts ( bind 57 ). - S. 3-35 . - doi : 10.1016/j.neucom.2004.01.008 .
9. ↑ Socher, Richard; Perelygin, Alex; Y. Wu, Jean; Chuang, Jason; D. Manning, Christopher; Y. Ng, Andrew; Potts, Christopher. Rekursive Deep Models for Semantic Compositionality Over a Sentiment Treebank  (engelsk)  // EMNLP 2013 : journal.
10. ↑ Hammer, Barbara. Læring med tilbagevendende neurale  netværk . — Springer, 2007. - ISBN 9781846285677 .
11. ↑ Hammer, Barbara; Micheli, Alessio; Sperduti, Alessandro. Universel tilnærmelsesevne for kaskadekorrelation for strukturer  //  Neural beregning : journal. - 2005. - 1. maj ( bind 17 , nr. 5 ). - S. 1109-1159 . - doi : 10.1162/0899766053491878 .
12. ↑ Gallicchio, Claudio; Micheli, Alessio. Tree Echo State Networks  (neopr.)  // Neurocomputing. - 2013. - 4. februar ( bind 101 ). - S. 319-337 . - doi : 10.1016/j.neucom.2012.08.017 .
13. ↑ Scarselli, F.; Gori, M.; Tsoi, AC; Hagenbuchner, M.; Monfardini, G. The Graph Neural Network Model  // IEEE-transaktioner på neurale  netværk : journal. - 2009. - 1. januar ( bind 20 , nr. 1 ). - S. 61-80 . — ISSN 1045-9227 . - doi : 10.1109/TNN.2008.2005605 .
14. ↑ Micheli, A. Neural Network for Graphs: A Contextual Constructive Approach  // IEEE-transaktioner på neurale  netværk : journal. - 2009. - 1. marts ( bind 20 , nr. 3 ). - S. 498-511 . — ISSN 1045-9227 . - doi : 10.1109/TNN.2008.2010350 .