Tematisk modellering

Emnemodellering er en måde at bygge en model af en samling af tekstdokumenter på, der bestemmer hvilke emner hvert dokument tilhører [1] .

Emnemodel ( engelsk emnemodel ) af en samling tekstdokumenter bestemmer, hvilke emner hvert dokument tilhører, og hvilke ord (udtryk) der danner hvert emne [2] .

Overgangen fra termernes rum til rummet af fundne emner hjælper med at løse synonymien og polysemien af termer, såvel som til mere effektivt at løse problemer som tematisk søgning , klassificering , opsummering og annotering af dokumentsamlinger og nyhedsstrømme.

Emnemodellering, som en type statistisk model til at finde skjulte emner, der stødes på i en samling af dokumenter, har fundet vej til områder som maskinlæring og naturlig sprogbehandling . Forskere bruger forskellige emnemodeller til at analysere tekster, tekstarkiver af dokumenter, til at analysere ændringer i emner i sæt af dokumenter . Intuitivt at forstå, at dokumentet refererer til et bestemt emne, i dokumenter, der er dedikeret til et emne, kan du finde nogle ord oftere end andre. For eksempel: "hund" og "knogle" optræder oftere i dokumenter om hunde, "katte" og "mælk" vil forekomme i dokumenter om killinger, præpositionerne "og" og "i" vil forekomme i begge emner. Normalt omhandler et dokument flere emner i forskellige proportioner, så et dokument, hvor 10 % af emnet er katte og 90 % af emnet er hunde, kan antages at have 9 gange flere ord om hunde. Emnemodellering afspejler denne intuition i en matematisk struktur, der tillader, baseret på undersøgelsen af en samling af dokumenter og undersøgelsen af frekvenskarakteristika for ord i hvert dokument, at konkludere, at hvert dokument er en vis balance mellem emner.

De mest udbredte i moderne applikationer er tilgange baseret på Bayesianske netværk - sandsynlighedsmodeller på rettede grafer . Probabilistiske emnemodeller er et relativt ungt forskningsområde inden for selvlærende teori . En af de første foreslåede probabilistiske latente semantiske analyser (PLSA), baseret på princippet om maksimal sandsynlighed , som et alternativ til de klassiske metoder til klyngedannelse , baseret på beregning af afstandsfunktioner. Efter PLSA blev den latente Dirichlet-tildelingsmetode og dens talrige generaliseringer [3] foreslået .

Probabilistiske emnemodeller udfører "blød" klyngedannelse, hvilket tillader et dokument eller et udtryk at blive relateret til flere emner på én gang med forskellige sandsynligheder. Probabilistiske emnemodeller beskriver hvert emne ved en diskret fordeling over et sæt af termer, hvert dokument ved en diskret fordeling over et sæt emner. Det antages, at en samling af dokumenter er en sekvens af termer valgt tilfældigt og uafhængigt af en blanding af sådanne fordelinger, og opgaven er at genskabe blandingens komponenter fra prøven [4] .

Selvom emnemodellering traditionelt er blevet beskrevet og anvendt i naturlig sprogbehandling, har den også fundet vej til andre områder, såsom bioinformatik .

Historie

Den første beskrivelse af emnemodellering dukkede op i et papir fra 1998 af Ragawan, Papadimitriou, Tomaki og Vempola [5] . Thomas Hofmann foreslog i 1999 [6] probabilistisk latent semantisk indeksering (PLSI). En af de mest almindelige topiske modeller er latent Dirichlet-placering (LDA), denne model er en generalisering af probabilistisk semantisk indeksering og blev udviklet af David Blei , Andrew Ng og Michael Jordan ( engelsk Michael I. Jordan ) [i 2002 . Andre emnemodeller har en tendens til at være udvidelser af LDA, for eksempel forbedrer pachinko-placering LDA ved at indføre yderligere korrelationskoefficienter for hvert ord, der udgør et emne.

Casestudier

Templeton gennemgik arbejdet med emnemodellering i humaniora, grupperet under synkrone og diakrone tilgange [8] . Synkrone tilgange fremhæver emner på et eller andet tidspunkt, for eksempel brugte Jockers en emnemodel til at udforske, hvad bloggere skrev om på Digital Humanities Day i 2010 [9] .

Diakroniske tilgange, herunder Block og Newmans definition af emners tidsmæssige dynamik i Pennsylvania Gazette fra 1728-1800 [10] . Griffiths og Stavers brugte emnemodellering til PNAS -magasinanmeldelser , hvilket bestemte ændringen i emnepopularitet fra 1991 til 2001 [11] . Blevin skabte en tematisk model til Martha Ballads dagbog [12] . Mimno brugte emnemodellering til at analysere 24 klassiske og arkæologiske tidsskrifter over 150 år for at bestemme ændringer i emnernes popularitet, og hvor meget tidsskrifterne havde ændret sig i løbet af den tid [13] .

Emnemodelleringsalgoritmer

David Blays "Introduction to Topic Modeling" betragter den mest populære algoritme Latent Dirichlet Allocation [14] . I praksis bruger forskere en af heuristikkerne ved maksimumsandsynlighedsmetoden, singular value decomposition (SVD) metoder, metoden for momenter , en algoritme baseret på en ikke-negativ faktoriseringsmatrix (NMF), probabilistiske emnemodeller, probabilistisk latent semantisk analyse , latent Dirichlet-placering. I Vorontsov K.V.s arbejde overvejes variationer af hovedemnemodelleringsalgoritmerne: robust emnemodel, emneklassifikationsmodeller, dynamiske emnemodeller, hierarkiske emnemodeller, flersprogede emnemodeller, tekstmodeller som en sekvens af ord, multimodale emnemodeller [2 ] .

Probabilistiske emnemodeller er baseret på følgende antagelser [15] [16] [17] [18] :

Rækkefølgen af dokumenterne i samlingen har ingen betydning
Ordenes rækkefølge i et dokument er ligegyldigt, et dokument er en pose ord.
Ord, der forekommer hyppigt i de fleste dokumenter, er ikke vigtige for at bestemme emnet
En samling af dokumenter kan repræsenteres som et udvalg af dokument-ord-par , , $(d, w)$ $d\i D$ $w\in {\mathit {W}}_{d}$
Hvert emne er beskrevet af en ukendt fordeling på sættet af ord $i T$ $p({\mathit {W}}|t)$ $w\in {\mathit {W}}$
Hvert dokument er beskrevet af en ukendt fordeling på et sæt emner $d\i D$ $p(t|d)$ $i T$
Betinget uafhængighedshypotese $p(w|t,d)=p(w|t)$

At opbygge en emnemodel betyder at finde matricer og ved samling I mere komplekse sandsynlighedsmodeller er nogle af disse antagelser erstattet af mere realistiske. $\Phi =||p(w|t)||$ $\Theta =||p(t|d)||$ ${\mathit {D}}$

Probabilistisk latent semantisk analyse

Probabilistisk latent semantisk analyse (PLSA) blev foreslået af Thomas Hofmann i 1999. Den probabilistiske model for forekomsten af et dokument-ord-par kan skrives på tre ækvivalente måder:

p(d,w)=\sum _{{t\in T}}p(t)p(w|t)p(d|t)=\sum _{{t\in T}}p(d) p(w|t)p(t|d)=\sum _{{t\in T}}p(w)p(t|w)p(d|t)

hvor er sættet af emner; $T$

p(t)

— ukendt a priori fordeling af emner i hele samlingen;

p(d)

er a priori fordeling på et sæt dokumenter, et empirisk skøn , hvor er den samlede længde af alle dokumenter;

p(d)=n_{d}/n

n=\sum _{d}n_{d}

p(w)

er a priori fordeling på sættet af ord, empirisk skøn , hvor er antallet af forekomster af et ord i alle dokumenter;

p(w)=n_{w}/n

n_{w}

w

De ønskede betingede fordelinger er udtrykt i form af Bayes formlen: $p(w|t),p(t|d)$ $p(t|w),p(d|t)$

$p(w|t)={\frac {p(t|w)p(w)}{\sum _{{w'}}p(t|w')p(w')}});\qquad p (t|d)={\frac {p(d|t)p(t)}{\sum _{{t'}}p(d|t')p(t')}}.$

For at identificere parametrene for emnemodellen ud fra en samling af dokumenter, anvendes princippet om maksimum sandsynlighed , hvilket fører til problemet med at maksimere det funktionelle [19]

$\sum _{d\in D}\sum _{w\in d}n_{dw}\ln \sum _{t\in \mathrm {T} }\varphi _{wt}\theta _{ td}\to \max _{\Phi ,\Theta },$

under normaliseringsbegrænsninger

$\sum _{w}p(w|t)=1,\;\sum _{t}p(t|d)=1,\;\sum _{t}p(t)=1,$

hvor er antallet af forekomster af ordet i dokumentet . For at løse dette optimeringsproblem bruges EM-algoritmen normalt . $n_{{dw}}$ $w$ $d$

De vigtigste ulemper ved PLSA:

Antallet af parametre vokser lineært med antallet af dokumenter i samlingen, hvilket kan føre til overfitting af modellen.
Når et nyt bilag tilføjes til samlingen, kan fordelingen ikke beregnes med samme formler som for andre dokumenter uden at genopbygge hele modellen. $d$ $p(t|d)$

Latent placering af Dirichlet

Latent Dirichlet Allocation (LDA) blev foreslået af David Bley i 2003.

Denne metode eliminerer de største ulemper ved PLSA.

LDA-metoden er baseret på den samme probabilistiske model

$p(d,w)=\sum _{{t\in T}}p(d)p(w|t)p(t|d),$

med yderligere forudsætninger:

dokumentvektorer genereres af den samme sandsynlighedsfordeling på normaliserede -dimensionelle vektorer; det er praktisk at tage denne fordeling fra den parametriske familie af Dirichlet-fordelinger ; $\theta _{d}={\bigl (}p(t|d):t\in T{\bigr )}$ $|T|$ ${\mathrm {Dir}}(\theta ,\alpha ),\;\alpha \in {\mathbb {R}}^{{|T|}}$
emnevektorerne genereres af den samme sandsynlighedsfordeling på normaliserede vektorer af dimension ; det er praktisk at tage denne fordeling fra den parametriske familie af Dirichlet-distributioner . $\phi _{t}={\bigl (}p(w|t):w\in W{\bigr )}$ $|W|$ ${\mathrm {Dir}}(\theta ,\beta ),\;\beta \in {\mathbb {R}}^{{|W|}}$

Gibbs sampling , variationel Bayesiansk inferens eller forventningsudbredelsesmetoden bruges til at identificere parametrene for LDA-modellen fra en samling af dokumenter .(Forventningsudbredelse).

Se også

semantisk
Dirichlet-

Noter

↑ Korshunov, 2012 .
↑ 1 2 Vorontsov, 2013 .
↑ Ali10, 2010 .
↑ Vorontsov 12, 2012 .
↑ Papadimitriou, 1998 .
↑ Hofmann, 1999 .
↑ Blay 2003, 2003 .
↑ Templeton, 2011 .
↑ Jokers, 2010 .
↑ Newman Block, 2006 .
↑ Griffiths, 2004 .
↑ Blevin, 2010 .
↑ Mimno, 2012 .
↑ Blay 2012, 2012 .
↑ Korshunov, 2012 , s. 229.
↑ Vorontsov, 2013 , s. 6.
↑ Vorontsov 13, 2013 , s. 5.
↑ VorontsovML, 2013 , s. 5.
↑ K. V. Vorontsov. Probabilistisk tematisk modellering (russisk) ? . Dato for adgang: 26. oktober 2013. Arkiveret fra originalen 24. juli 2014. (ubestemt)

Litteratur

Korshunov Anton, Gomzin Andrey. Tematisk modellering af tekster i naturligt sprog // Proceedings of the Institute for System Programming of the Russian Academy of Sciences: journal. – 2012.
Vorontsov K.V. Probabilistisk tematisk modellering // www.machinelearning.ru : web. - 2013.
Vorontsov K.V., Potapenko A.A. Regularisering, robusthed og sparsomhed af probabilistiske tematiske modeller // Computerforskning og modellering : tidsskrift. - 2012. - S. 693-706 .
Vorontsov K.V. Additiv regularisering af probabilistiske emnemodeller Præsentation // www.machinelearning.ru : web. - 2013.
Vorontsov K.V. Probabilistiske tematiske modeller af en samling tekstdokumenter Præsentation // www.machinelearning.ru : web. - 2013.
Mark Stavers, Tom Griffiths. Probabilistisk tematisk model. // Handbook of Latent Semantic Analysis / T. Landauer, D. McNamara, S. Dennis, W. Kintsch. - Psychology Press, 2007. - ISBN 978-0-8058-5418-3 . Arkiveret 24. juni 2013 på Wayback Machine
Daud Ali, Li Juanzi, Zhou Lizhu, Muhammad Faqir. Opdagelse af viden gennem rettede sandsynlighedsmodeller: en undersøgelse. I Proceedings of Frontiers of Computer Science in China. // www.researchgate.net : web. – 2010.
Christos Papadimitriou, Prabhakar Raghavan, Hisao Tamaki, Santosh Vempala. Latent semantisk indeksering: En probabilistisk analyse // Proceedings of ACM PODS. - 1998. Arkiveret den 9. maj 2013.
Thomas Hoffman. Probabilistic Latent Semantic Indexing // Proceedings of the Twenty-Second Annual International SIGIR Conference on Research and Development in Information Retrieval. - 1999. Arkiveret 14. december 2010.
David M. Blei, Andrew Y. Ng, Michael I. Jordan. Latent Dirichlet Allocation // Journal of Machine Learning Research. - 2003. Arkiveret 1. maj 2012.
David Blei. Introduktion til probabilistiske emnemodeller // Kommunikation af ACM . - 2012. - S. 77–84 . Arkiveret fra originalen den 15. februar 2017.
David Blei, JD Lafferty. Emnemodeller : web. - 2009. Arkiveret 31. maj 2013.
David Blei, JD Lafferty. Introduktion til probabilistiske emnemodeller // Annals of Applied Statistics. - 2007. - S. 17-35 . - doi : 10.1214/07-AOAS114 . Arkiveret fra originalen den 15. februar 2017.
David Mimno. Computational Historiography: Data Mining in a Century of Classics Journals // Journal on Computing and Cultural Heritage: tidsskrift. - 2012. - doi : 10.1145/2160165.2160168 .
Matthew L. Jockers. Hvem er din DH Blog Mate: Match-Making the Day of DH Bloggers med Topic Modeling : web. – 2010.
E. Bland. Forstå de digitale humaniora : web. – 2011.
C. Templeton. Emnemodellering i humaniora: en gennemgang. // Maryland Institute for Technology in the Humanities Blog: web. – 2011.
T. Gifits, M. Stivers. Finde videnskabelige emner // Proceedings of the National Academy of Sciences: tidsskrift. - 2004. - doi : 10.1073/pnas.0307752101 . — PMID 14872004 .
T. Young, A Torget og R. Mihalcea. Emnemodellering i historiske aviser // Proceedings of the 5th ACL-HLT Workshop on Language Technology for Cultural Heritage, Social Sciences and Humanities. Association for Computational Linguistics, Madison: tidsskrift. - 2011. - S. 96-104 . Arkiveret fra originalen den 27. marts 2014.
S. Blok. Doing More with Digitalization - An Introduction to Topic Modeling in Early American Sources // Common-place The Interactive Journal of Early American Life: Journal. – 2006.
D. Newman, S. Block. Probabilistic Topical Expansion in 18th Century Newspapers // Journal of the American Society for Information Science and Technology: Journal. - 2006. - doi : 10.1002/asi.20342 .
C. Blevin. Tematisk modellering af Martha Ballards dagbog // historying: web. – 2010.

Links

Foredrag: Emnemodellering — K. V. Vorontsov // Skole for dataanalyse (videoforelæsninger).
Forelæsning 2: Emnemodellering - K. V. Vorontsov // Skole for dataanalyse (videoforelæsninger).
Tematisk modellering . (ubestemt)
Dokumentsamlinger til emnemodellering . (ubestemt)
Fuldt sparsomme emnemodeller (oversættelse) / Fuldt sparsomme emnemodeller . (ubestemt)
En undersøgelse af sandsynlighedsmodeller . (ubestemt)
Emnemodeller for en tekstsamling . (ubestemt)
Bayesianske metoder til maskinlæring (forelæsningskursus, D. P. Vetrov, D. A. Kropotov) . (ubestemt)
Heatlton, Clay Topic Modeling in the Humanities. Generel gennemgang. . Maryland Institute for Technology in the Humanities. (ubestemt)
Anvendelse af emnemodellering til nyhedsanalyse og anmeldelser. Video af en Google Tech Talk-præsentation af Alice Oh om emnemodellering med latent Dirichlet-tildeling
Modelleringsvidenskab: Dynamisk tematisk modellering af videnskabelig forskning. Video af en Google Tech Talk-præsentation af David M. Blei
Automatiseret emnemodel i statskundskab. Video af en præsentation af Brandon Stewart på Tools for Text Workshop , 14. juni 2010
Foredrag: Emnemodellering - David Blay 2009 Videoforelæsning Princeton University
Regulering af probabilistiske emnemodeller for at øge fortolkningen og bestemme antallet af emner Dialog 2014
Sparsommelige emnemodeller med fremtrædende ordopdagelse

Software- og softwarebiblioteker

Malet (program)
Stanford University Topic Modeling Toolkit
GenSim - "temasimulering for mennesker"
LDA C# LDA i Infer.NET

naturlig sprogbehandling
Generelle definitioner	Korpus af tekster talekorpus Stop ord pose ord AI fuldstændighed N-gram Bigram chiffer trigram
Tekstanalyse	Tekstsegmentering Delvis markering Overfladeparsing Sammensat tekstbehandling Udpakning af kollokationer stammer Lematisering Anerkendelse af navngivet enhed Coreference opløsning Tekststemningsanalyse Konceptudvinding parsing Opløsning af leksikalsk polysemi Uddrag terminologi Informationsudtrækning Sproglig identifikation Sagsdefinition
Referencer	Uddrag sætninger Abstrakt generation Henvisning til flere dokumenter Tekstforenkling
Maskinoversættelse	automatiseret Hybrid Interlingual Regel baseret Baseret på eksempler Ordbog baseret Baseret på transformation neurale Statistisk Synkron
Identifikation og dataindsamling	Tale genkendelse talesyntese Optisk tegngenkendelse Tekstgenerering
Tematisk model	Pachinko placering Latent Dirichlet placering Latent semantisk analyse
Peer review	Automatiseret vurdering af essays Konkordancer Forudsigelig tekstinput Grammatikkontrol Stavekontrol Syntaks Gæt
Naturlig sproggrænseflade [	virtuel assistent Virtuel samtalepartner Spørgsmål og svar system Stemmegrænseflade Interaktiv litteratur