Naturlig sprogbehandling
Den aktuelle version af siden er endnu ikke blevet gennemgået af erfarne bidragydere og kan afvige væsentligt fra den version , der blev gennemgået den 23. december 2019; checks kræver 15 redigeringer .Natural Language Processing ( NLP ) er et generelt område inden for kunstig intelligens og matematisk lingvistik . Den studerer problemerne med computeranalyse og syntese af tekster på naturlige sprog . I forhold til kunstig intelligens betyder analyse at forstå sproget, og syntese betyder at generere læsefærdig tekst .
Opgaver og begrænsninger
Teoretisk set er opbygningen af en naturlig sproggrænseflade til computere et meget attraktivt mål. Tidlige systemer som SHRDLU , der arbejdede med en begrænset "verden af blokke" og brugte et begrænset ordforråd, så ekstremt godt ud, hvilket inspirerede deres skabere. Optimismen forsvandt dog hurtigt, da disse systemer stod over for kompleksiteten og tvetydigheden i den virkelige verden.
Naturlig sprogforståelse overvejes nogle gange[ hvem? ] AI er en komplet opgave, fordi genkendelsen af et levende sprog kræver en enorm viden om systemet om verden omkring os og evnen til at interagere med den. Selve definitionen af betydningen af ordet " forstå " er en af hovedopgaverne for kunstig intelligens. .
Vanskeligheder med at forstå
På russisk
Kvaliteten af forståelse afhænger af mange faktorer: sprog, national kultur, samtalepartneren selv osv. Her er nogle eksempler på de vanskeligheder, som tekstforståelsessystemer står over for.
- Vanskeligheder med at åbne anaforer (at genkende, hvad der menes, når man bruger pronominer): sætningerne "Vi gav bananerne til aberne, fordi de var sultne" og "Vi gav bananerne til aberne, fordi de var overmodne" er ens i syntaktisk struktur. I den ene af dem refererer pronomenet til aber, og i den anden til bananer . Den korrekte forståelse afhænger af computerens viden om, hvad bananer og aber kan være.
- Fri ordstilling kan føre til en helt anden fortolkning af sætningen: "Væsen bestemmer bevidstheden" - hvad bestemmer hvad?
- På russisk opvejes gratis orden af avanceret morfologi , funktionsord og tegnsætningstegn , men i de fleste tilfælde udgør dette et yderligere problem for en computer.
- Neologismer kan findes i tale , for eksempel verbet "Fifty ruble" - det vil sige send 50 rubler. Systemet bør være i stand til at skelne sådanne tilfælde fra slåfejl og forstå dem korrekt.
- Den korrekte forståelse af homonymer er et andet problem. Inden for talegenkendelse opstår blandt andet problemet med fonetiske homonymer. I sætningen " En grå ulv mødte en rød ræv i en dyb skov " De fremhævede ord høres på samme måde, og uden at vide hvem der er døv og hvem der er rød, kan man ikke gøre (udover at ræven kan være rød og skoven kan være døv, skoven kan også være rød (karakteristisk, betegner i dette tilfælde den fremherskende farve på løvet i skoven), mens ræven kan være døv, hvilket skaber et yderligere problem, der stammer fra den forrige, selvom den er delvist kompenseret af morfologi - adjektiverne i denne sætning har et klart forskelligt køn).
Klassificering af opgaver
Populære problemer: [1] [2] [3]
Analyse- og synteseopgaver i komplekset:
- Maskinoversættelse
- Automatisk opsummering , annotering eller forenkling af tekst
Generel klassifikation:
- Tekstkategorisering
- Klassificering af tegnsekvenser
- Navngivet enhedsgenkendelse
- Definition af orddele
- Sætningsgenkendelse
- Udtræk information fra tekst
- Syntaks annotering
- Semantisk anmærkning
- Tekstgenerering
- Tekstgenerering baseret på genkendt tale
- Maskinoversættelse
- Generalisering af teksten
Software
- AlchemyAPI
- Expert System SpA
- Generel arkitektur for tekstteknik (GATE)
- Modulær lydgenkendelsesramme
- MontyLingua
- Natural Language Toolkit (NLTK)
Se også
Noter
- ↑ Shervin Minaee, Nal Kalchbrenner, Erik Cambria, Narjes Nikzad, Meysam Chenaghlu. Deep Learning Based Text Classification: A Comprehensive Review // arXiv:2004.03705 [cs, stat]. - 2020-04-05. Arkiveret fra originalen den 24. juni 2020.
- ↑ Tom Young, Devamanyu Hazarika, Soujanya Poria, Erik Cambria. Seneste tendenser inden for dyb læringsbaseret naturlig sprogbehandling // arXiv:1708.02709 [cs]. — 2018-11-24. Arkiveret 6. maj 2020.
- ↑ Prof. Jason Eisner. Kursus i automatisk tekstbehandling (engelsk) ? . Hentet 7. maj 2020. Arkiveret fra originalen 13. maj 2020.
Links
 Ordbøger og encyklopædier | |
|---|---|
| I bibliografiske kataloger |
|
| naturlig sprogbehandling | |
|---|---|
| Generelle definitioner | |
| Tekstanalyse |
|
| Referencer |
|
| Maskinoversættelse |
|
| Identifikation og dataindsamling | |
| Tematisk model | |
| Peer review |
|
| Naturlig sproggrænseflade [ | |