Udvinding af viden

Udtræk fra strukturerede kilder i RDF

1:1 mapping fra relationelle databasetabeller/visninger til RDF-enheder/attributter/værdier

Når man bygger en repræsentation af en relationsdatabase (RDB, eng.  relationsdatabase ) er udgangspunktet ofte et entity-relationship diagram ( eng.  entity-relationship diagram , ERD). Typisk er hver enhed repræsenteret som en databasetabel, hver enhedsegenskab bliver en kolonne i den tabel, og forholdet mellem entiteter vises med fremmednøgler. Hver tabel definerer typisk en bestemt enhedsklasse, og hver kolonne definerer en af ​​egenskaberne for denne enhed. Hver række i tabellen beskriver en forekomst af en enhed, entydigt identificeret af en hovednøgle. Tabelrækkerne beskriver sammen enhedssættet. I den RDF-ækvivalente repræsentation af det samme enhedssæt:

• Hver kolonne i tabellen er en egenskab (det vil sige et prædikat)
• Hver værdi i en kolonne er en attributegenskab (det vil sige, det er et objekt)
• Hver rækkenøgle repræsenterer et enheds-id (det vil sige et emne)
• Hver række repræsenterer en forekomst af en enhed
• Hver række (entitetsforekomst) er repræsenteret i RDF som en samling af tuples med et fælles emne (entitets-id).

Så for at udtrykke en ækvivalent repræsentation baseret på RDF-semantik ville den grundlæggende algoritme være:

1. oprette en RDF Schema (RDFS) klasse for hver tabel
2. konvertere alle hovednøgler og fremmednøgler til IRI identifikatorer
3. tildele et IRI-prædikat til hver kolonne
4. tildel rdf:-typeprædikatet til hver linje ved at knytte det til IRI-identifikationen for RDFS-klassen
5. For hver kolonne, der hverken er en del af hovednøglen eller en del af fremmednøglen, bygger vi en tripel, der indeholder hovednøglens IRI som emne (emne), kolonnens IRI som prædikatet og værdien af kolonne som objektet.

En tidlig reference til grundlæggende eller direkte kortlægning kan findes i Tim Berners-Lees sammenligning af ER-modellen med RDF-modellen [4] .

Komplekse relationelle databasekortlægninger i RDF

Den ovenfor nævnte 1:1-kortlægning repræsenterer de gamle data som RDF direkte, og yderligere forfining kan bruges til at forbedre anvendeligheden af ​​RDF-outputtet i henhold til den givne brugssituation. Som regel går information tabt under transformationen af ​​et entity  -relationship diagram (ERD) til relationelle tabeller (en detaljeret beskrivelse kan findes i artiklen " Objektrelationel mismatch ") og skal gendannes ved omvendt konstruktion . Konceptuelt kan udvindingstilgange komme fra to retninger. Den første retning forsøger at udtrække eller træne (ved hjælp af maskinlæring) et OWL-skema fra et givet databaseskema. Tidlige tilgange brugte et fast antal håndlavede kortlægningsregler for at forbedre 1:1 kortlægning [5] [6] [7] . Mere komplicerede metoder brugte heuristiske eller lærende algoritmer til at generere skematisk information (metoder overlapper med ontologilæring ). Mens nogle tilgange forsøger at udtrække information fra strukturen iboende i SQL -skemaet [8] (ved at parse f.eks. fremmednøgler), parser andre tilgange indholdet og værdierne i tabeller for at skabe konceptuelle hierarkier [9] (f.eks. , kolonner med få værdier er kandidater til at blive kategorier). Den anden retning forsøger at kortlægge skemaet og dets indhold til en eksisterende domæneontologi (se også " Ontologikortlægning "). Ofte eksisterer der dog ikke en passende domæneontologi og skal først oprettes.

XML

Da XML er struktureret som et træ, er det nemt at repræsentere alle data i RDF-format, som er struktureret som en graf. XML2 RDF er et eksempel på en tilgang, der bruger tomme RDF-noder og transformerer XML-elementer og attributter til RDF-egenskaber. Sagen er dog mere kompleks end i tilfældet med relationelle databaser. I relationelle tabeller er hovednøglen en ideel kandidat til emnet fornemme tripler. Et XML-element kan dog konverteres - afhængigt af konteksten - som et emne, som et prædikat eller som et tredobbelt objekt. XSLT kan bruges som et standard transformationssprog til manuel konvertering af XML til RDF.

Oversigt over metoder/midler

Udtræk fra en naturlig sprogkilde

Den største del af informationen i et forretningsdokument (ca. 80 % [11] ) er kodet i naturligt sprog og derfor ikke struktureret. Da ustrukturerede data er en ret vanskelig opgave at udvinde viden, kræves der mere sofistikerede metoder, som normalt giver dårligere resultater end strukturerede data. Men evnen til at tilegne sig en enorm mængde udvundet viden kompenserer for den stigende kompleksitet og forringede kvalitet af udvindingen. Yderligere forstås kilder i naturligt sprog som informationskilder, hvor data er givet som ustrukturerede tekstdata. Hvis den givne tekst indsættes i et markup-dokument (såsom et HTML-dokument), fjerner disse systemer normalt markup-elementerne automatisk.

Traditionel informationsudtrækning

Traditionel informationsudtrækning ( IE [12] ) [13] er en   naturlig sprogbehandlingsteknologi, der udtrækker information fra naturlige sprogtekster og strukturerer dem på passende måde . Hvilke typer af informationer, der skal udvindes, skal specificeres i modellen, inden bearbejdningsprocessen påbegyndes, hvorfor hele processen med traditionel informationsudtræk er afhængig af det emneområde, der overvejes. FROM ( eng. IE ) er opdelt i følgende fem delopgaver.  

• Anerkendelse af navngivet enhed ( eng.  Genkendelse af navngivet enhed , NER)
• Coreference resolution ( CO  )
• Skabelonelementkonstruktion ( TE ) (eller tilføjelse  af attributter til enheder)
• Identifikation af relationer mellem enheder (BC, eng.  Template relation construction , TR)
• Opbygning af en komplet beskrivelse af begivenheden (PPO, eng.  Template scenario production , ST)

Opgaven med navngivne entitetsgenkendelse er at genkende og kategorisere alle navngivne enheder indeholdt i teksten (tildeling af navngivne enheder til foruddefinerede kategorier). Det virker ved at anvende grammatikbaserede metoder eller statistiske modeller.

Coreference resolution etablerer ækvivalente enheder, der er blevet genkendt i teksten af ​​NER-algoritmen. Der er to beslægtede slags ækvivalensrelationer. Den første relation refererer til en relation mellem to forskellige enheder (f.eks. IBM Europe og IBM), og den anden henviser til en relation mellem en enhed og dens anaforiske reference (f.eks. den og IBM). Begge arter kan genkendes ved coreference resolution .

Under konstruktionen af ​​skabelonelementerne sætter IE-systemet de beskrivende egenskaber for de entiteter, der genkendes af NER- og CO-systemerne. Disse egenskaber svarer til almindelige kvaliteter som "rød" eller "stor".

Identifikationen af ​​relationer mellem individuelle enheder etablerer de relationer, der eksisterer mellem elementerne i skabelonen. Disse relationer kan være af flere slags, såsom værker-til eller beliggende-i, med den begrænsning, at både omfang og rækkevidde svarer til enheder.

Fuldstændige beskrivelser af hændelser, der udføres i teksten, genkendes og struktureres i overensstemmelse med de enheder, der er anerkendt af NER- og CO-systemerne, og relationerne genkendes af BC-systemet.

Udtrækning af information baseret på ontologier

Ontologibaseret informationsekstraktion (OBIE  ) [ 11] er et underfelt af informationsekstraktion, der bruger mindst én ontologi til at styre processen med at udtrække information fra naturlig sprogtekst. OBIE-systemet bruger traditionelle informationsekstraktionsteknikker til at genkende begreberne , entiteterne og relationerne mellem de anvendte ontologier i teksten, som vil blive struktureret til en ontologi efter processen. Således danner input-ontologierne en model for den hentede information.

Ontologilæring

Ontologilæring (OL) er den automatiske eller semi-automatiske skabelse af ontologier, herunder udvinding af relevante  objektdomænetermer fra naturlig sprogtekst. Da det er ekstremt arbejdskrævende og tidskrævende at bygge ontologier i hånden, er der et stærkt incitament til at automatisere processen.

Semantisk annotation

Under semantisk annotering ( SA ) [14] er naturlig sprogtekst ledsaget af metadata (ofte repræsenteret i RDF  [ , Resource Description Framework in Attributes ), der skulle gøre semantikken af ​​de indeholdte elementer forståelig for maskiner . I denne proces, som normalt er halvautomatisk, hentes viden i den forstand, at der etableres en kobling mellem leksikalske emner og fx begreber fra ontologier. Således opnår vi viden, der afslører betydningen af ​​entiteten i den kontekst, der bearbejdes, og derfor bestemmer tekstens betydning i den information, der opfattes af maskinen med evnen til at drage logiske konklusioner. Den semantiske annotering er normalt opdelt i følgende to underopgaver.  

1. Terminologi udvinding
2. Sammenkædning af navngivne enheder

På terminologiudtræksniveau uddrages leksikalske termer fra teksten. Til dette formål bestemmer den leksikalske analysator først ordgrænser og udtrækker forkortelser. De termer, der matcher begreberne, uddrages derefter fra teksten ved hjælp af et domænespecifikt ordforråd til entitetslinkning.

Ved sammenkædning af entiteter [15] etableres en forbindelse mellem de udtrukne leksikalske medlemmer fra kildeteksten og begreber fra en ontologi eller videnbase, såsom DBpedia . For at gøre dette identificeres kandidatbegreber i henhold til visse elementværdier ved hjælp af en ordbog. Til sidst analyseres begrebernes kontekst for at bestemme den mest passende disambiguation, og det korrekte begreb tildeles begrebet.

Betyder

Følgende kriterier kan bruges til at kategorisere værktøjer, der uddrager viden fra naturlige sprogtekster.

Den følgende tabel beskriver nogle af værktøjerne til at udtrække viden fra naturlige sprogkilder.

Knowledge Discovery

Knowledge discovery beskriver processen med automatisk at søge i store mængder data efter modeller, der kan betragtes som viden om dataene [33] . Dette beskrives ofte som at udvinde viden fra input . Videnopdagelse er udviklet til dataanalyse og er tæt forbundet med både metodologi og terminologi [34] .

Den mest kendte gren af ​​datamining  er videnopdagelse, også kendt som videnopdagelse i databaser . Som mange andre former for videnopdagelse skaber denne analyse abstraktioner af inputdata. Viden erhvervet som følge af denne proces kan blive til yderligere data , som kan bruges til videre brug og søgninger. Ofte har outputtet af en videnopdagelsesproces ingen praktisk værdi, så aktiv videnopdagelse , også kendt som " Domain data analysis " [35] , er designet til at opdage og udtrække (af praktisk betydning) aktiv viden og konklusioner fra denne viden.

En anden lovende anvendelse af videnopdagelse er inden for softwaremodernisering detektering af svagheder og overholdelse af standarder, hvilket involverer forståelse af eksisterende software. Denne proces er relateret til begrebet reverse engineering . Typisk præsenteres viden opnået fra eksisterende software i form af modeller, som specifikke forespørgsler kan stilles på, hvis det er nødvendigt. Entity-relationship-modellen er et almindeligt format, der repræsenterer viden og er afledt af eksisterende software. Object Management Group- konsortiet har udviklet en specifikation for Knowledge Discovery Metamodel ( KDM), som definerer en ontologi for softwareressourcer og deres relationer, designet til at opdage viden i eksisterende kode. Opdagelsen af ​​viden fra kendte softwaresystemer, også kendt som software mining , er tæt forbundet med data mining , da eksisterende softwareopdagelser er af stor betydning for risikostyring og kommerciel værdi , som fungerer som nøgleelementer for analyse og udvikling af softwaresystemer. I stedet for at analysere individuelle datasæt ] fokuserer software mining på metadata såsom produktionsflow (f.eks. dataflow, kontrolflow, opkaldsmønster), arkitektur, databaseskemaer og forretningsregler/vilkår/processer.  

Dataindtastning

• Database
  • Relationsdata
  • Database
  • Dokumentopbevaring
  • Datalager
• Software
  • Kilde
  • Konfigurationsfiler
  • Samlemanuskripter
• Tekst
  • Konceptudvinding
• Grafer
  • Intelligent analyse af molekyler
• Sekvenser
  • Dataflow mining
  • Concept Drift
• web

Outputformater

• Data model
• metadata
• Metamodeller
• Ontologi
• Vidensrepræsentation
• Tag (metadata)
• Forretningsregler
• Knowledge discovery metamodel
• Notation og forretningsprocesmodel
• Mellemrepræsentation
• Ressourcebeskrivelsesmiljø
• Software Metrics

Se også

• klyngeanalyse
• Data arkæologi

Noter

1. ↑ RDB2RDF Working Group, Website: http://www.w3.org/2001/sw/rdb2rdf/ , charter: http://www.w3.org/2009/08/rdb2rdf-charter , R2RML: RDB to RDF Mapping Sprog: http://www.w3.org/TR/r2rml/
2. ↑ LOD2 EU  (utilgængeligt link) Leveres 3.1.1 Vidensudvinding fra strukturerede kilder
3. ↑ Calais udgivelse 4, 2009 .
4. ↑ 1 2 Berners-Lee, 1998 .
5. ↑ Hu, Qu, 2007 , s. 225-238.
6. ↑ Ghawi, Cullot, 2007 .
7. ↑ Li, Du, Wang, 2005 , s. 209-220.
8. ↑ Tirmizi, Miranker, Sequeda, 2008 .
9. ↑ Cerbah, 2008 .
10. ↑ RDQL = RDF-forespørgselssprog
11. ↑ 1 2 Wimalasuriya, Dou, 2010 , s. 306 - 323.
12. ↑ Må ikke forveksles med MS IE = Microsoft Internet Explorer!
13. ↑ Cunningham, 2005 , s. 665-677.
14. ↑ Erdmann, Maedche, Schnurr, Staab, 2000 .
15. ↑ Rao, McNamee, Dredze, 2011 , s. 93-115.
16. ↑ Rocket Software Inc. (2012). "teknologi til at udvinde intelligens fra tekst"
17. ↑ Orchestral8 (2012): "AlchemyAPI Overview"
18. ↑ University of Sheffield (2011). "ANNIE: et næsten nyt informationsudtrækssystem"
19. ↑ Mendes, Jakob, Garcia-Sílva, Bizer, 2011 , s. atten.
20. ↑ Gangemi, Presutti, Recupero et al., 2016 .
21. ↑ Adrian, Maus, Dengel, 2009 .
22. ↑ SRA International Inc. (2012). NetOwl Extractor
23. ↑ Fortuna, Grobelnik, Mladenic, 2007 , s. 309-318.
24. ↑ Missikoff, Navigli, Velardi, 2002 , s. 60-63.
25. ↑ McDowell, Cafarella, 2006 , s. 428 - 444.
26. ↑ Yildiz, Miksch, 2007 , s. 660 - 673.
27. ↑ Dill, Eiron, Gibson et al., 2003 , s. 178 - 186.
28. ↑ Uren, Cimiano, Iria et al., 2006 , s. 14 - 28.
29. ↑ Cimiano, Völker, 2005 .
30. ↑ Maedche, Volz, 2001 .
31. ↑ Maskinforbindelse. "Vi opretter forbindelse til Linked Open Data-skyen"
32. ↑ Inxight ThingFinder og ThingFinder Professional (downlink) . Inxight Federal Systems (2008). Hentet 18. juni 2012. Arkiveret fra originalen 29. juni 2012. (ubestemt) 
33. ↑ Frawley, Piatetsky-Shapiro, Matheus, 1992 , s. 57-70.
34. ↑ Fayyad, Piatetsky-Shapiro, Smyth, 1996 , s. 37-54.
35. ↑ Cao, 2010 , s. 755-769.

Litteratur

• Cao L. Domænedrevet datamining: udfordringer og udsigter // IEEE Trans. om viden og datateknik. - 2010. - T. 22 , no. 6 . - doi : 10.1109/tkde.2010.32 .
• Livet i den linkede datasky  // www.opencalais.com. - 2009. Arkiveret den 24. november 2009. Uddrag: Wikipedia har en pendant ved navn DBpedia. DBpedia har den samme strukturerede information som Wikipedia, men konverteret til et maskinlæsbart format.
• Benjamin Adrian, Heiko Maus, Andreas Dengel. iDocument: Brug af ontologier til at udtrække information fra tekst. – 2009.
• William J. Frawley, Gregory Piatetsky-Shapiro, Christopher J. Matheus. Opdagelse af viden i databaser: en oversigt  // AI Magazine. - 1992. - T. 13 , nr. 3 . - S. 57-70 . Arkiveret fra originalen den 4. marts 2016.
• Usama M. Fayyad, Gregory Piatetsky-Shapiro, Padhraic Smyth. Fra Data Mining til Knowledge Discovery i databaser  // AI Magazine. - 1996. - T. 17 , nr. 3 . - S. 37-54 . Arkiveret fra originalen den 4. maj 2016.
• Tim Berners Lee. Relationelle databaser på det semantiske web . - 1998.
• Farid Cerbah. At lære meget strukturerede semantiske repositories fra relationelle databaser // The Semantic Web: Research and Applications . - Berlin / Heidelberg: Springer, 2008. - T. 5021. - (Lecture Notes in Computer Science). Arkiveret 20. juli 2011 på Wayback Machine
• Syed Hamid Tirmizi, Daniel P. Miranker, Juan Sequeda. Oversættelse af SQL-applikationer til det semantiske web // Database- og ekspertsystemer-applikationer . - 2008. - T. 5181/2008. — (Forelæsningsnotater i datalogi).
• Wei Hu, Yuzhong Q. Opdagelse af simple kortlægninger mellem relationelle databaseskemaer og ontologier // Proc. af 6. International Semantic Web Conference (ISWC 2007), 2. Asian Semantic Web Conference (ASWC 2007) . - Busan, Korea, 11.-15. november 2007, 2007. - T. 4825. - S. 225-238. — (Forelæsningsnotater i datalogi).
• Ghawi R., Cullot N. Database-to-Ontology Mapping Generation for Semantic Interoperability // Third International Workshop on Database Interoperability (InterDB 2007). . – 2007.
• Man Li, Xiaoyong Du, Shan Wang. En halvautomatisk ontologiopsamlingsmetode til det semantiske web // WAIM. - Springer, 2005. - T. 3739. - S. 209-220. — (Forelæsningsnotater i datalogi). - doi : 10.1007/11563952_19 .
• Aldo Gangemi, Valentina Presutti, Diego Reforgiato Recupero, Andrea Giovanni Nuzzolese, Francesco Draicchio, Misael Mongiovì. Semantisk webmaskinelæsning med FRED // Semantisk webjournal. - 2016. - doi : 10.3233/SW-160240 .
• Philipp Cimiano, Johanna Volker. Text2Onto - A Framework for Ontology Learning and Data-Driven Change Discovery // Proceedings of the 10th International Conference of Applications of Natural Language to Information Systems. - 2005. - T. 3513. - S. 227 - 238.
• Hamish Cunningham. Informationsudtrækning, automatisk // Encyclopedia of Language and Linguistics . - 2005. - S. 665 - 677.
• Stephen Dill, Nadav Eiron, David Gibson, Daniel Gruhl, R. Guha, Anant Jhingran, Tapas Kanungo, Sridhar Rajagopalan, Andrew Tomkins, John A. Tomlin, Jason Y. Zien. SemTag og Seeker: Bootstraping the Semantic Web via Automated Semantic Annotation // Proceedings of the 12th international conference on World Wide Web . - 2003. - S. 178 - 186.
• Erdmann M., Maedche A., Schnurr H.-P., Staab S. From Manual to Semi-automatic Semantic Annotation: About Ontology-based Text Annotation Tools // Proceedings of the COLING. - 2000.
• Blaz Fortuna, Marko Grobelnik, Dunja Mladenic. OntoGen: Semi-automatic Ontology Editor // Proceedings of the 2007 conference on Human Interface, Part 2 . - 2007. - S. 309 - 318.
• Alexander Maedche, Raphael Volz. Ontology Extraction & Maintenance Framework Text-To-Onto // Proceedings of the IEEE International Conference on Data Mining . – 2001.
• Luke K. McDowell, Michael Cafarella. Ontologi-drevet informationsudvinding med OntoSyphon // Proceedings of the 5th international conference on The Semantic Web . - 2006. - S. 428 - 444.
• Pablo N. Mendes, Max Jakob, Andrés Garcia-Sílva, Christian Bizer. DBpedia Spotlight: Shedding Light on the Web of Documents // Proceedings of the 7th International Conference on Semantic Systems . - 2011. - S. 1 - 8. Arkiveksemplar af 5. april 2012 på Wayback Machine
• Michele Missikoff, Roberto Navigli, Paola Velardi. Integreret tilgang til webontologi læring og teknik  // Computer. - 2002. - T. 35 , no. 11 . - S. 60 - 63 .
• Delip Rao, Paul McNamee, Mark Dredze. Entity Linking: Find udtrukne enheder i en vidensbase // Multi-source, Multi-lingual Information Extraction and Summarization . — 2011.  (utilgængeligt link)
• Victoria Uren, Philipp Cimiano, José Iria, Siegfried Handschuh, Maria Vargas-Vera, Enrico Motta, Fabio Ciravegna. Semantisk annotation til vidensstyring: Krav og en undersøgelse af den nyeste viden  // Web Semantics: Science, Services and Agents on the World Wide Web. - 2006. - V. 4 , no. 1 . - S. 14 - 28 .  (utilgængeligt link)
• Daya C. Wimalasuriya, Dejing Dou. Ontologi-baseret informationsudvinding: En introduktion og en undersøgelse af aktuelle tilgange  // Journal of Information Science. - 2010. - T. 36 , no. 3 . - S. 306 - 323 .
• Burcu Yildiz, Silvia Miksch. ontoX - En metode til ontologi-drevet informationsekstraktion // Proceedings of the 2007 international conference on Computational Science and its applications . - 2007. - T. 3. - S. 660 - 673.