Semantisk information

Den aktuelle version af siden er endnu ikke blevet gennemgået af erfarne bidragydere og kan afvige væsentligt fra den version , der blev gennemgået den 30. marts 2018; checks kræver 4 redigeringer .

Semantisk information er det semantiske aspekt af information, der afspejler forholdet mellem budskabets form og dets semantiske indhold.

Med udgangspunkt i Claude Shannon 's værker er det generelt accepteret [1] , at informationsbegrebet består af tre aspekter: syntaktisk , semantisk og pragmatisk . Den syntaktiske er relateret til de tekniske problemer med at lagre og overføre information, den semantiske er relateret til betydningen og betydningen af meddelelsers sandhed, den pragmatiske berører spørgsmålene om informations indflydelse på folks adfærd. Teorien om semantisk information udforsker området for menneskelig viden og er en integreret del af udviklingen af kunstig intelligens [2] .

Historie

Dannelse af begrebet semantisk information

Fremkomsten af semiotikken i det 19. århundrede skabte forudsætningerne for fremkomsten af begrebet semantisk information [3] . Det tog endelig form efter fremkomsten af Mathematical Theory of Communication , skabt af Claude Shannon i 1948 [4] . Shannons teori, der nu betragtes som en teori om syntaktisk information, ignorerer fuldstændigt budskabets betydning. Det var da behovet for at skabe en teori om semantisk information blev realiseret.

Teorien om Bar-Hillel og Carnap

I 1952 foreslog Yehoshua Bar-Hillel og Rudolf Carnap en teori om semantisk information baseret på begrebet logiske sandsynligheder [5] . Semantisk information tolkes af forfatterne som et synonym for semantisk indhold, som både sande og falske udtryk har. To hovedmål for mængden af semantisk information i en sætning tages i betragtning . Den første er defineret sådan: $s$ ${\mbox{fortsat}}(r)$

{\mbox{fortsat}}(s)=1-q(s)

hvor er den absolutte logiske sandsynlighed for sætningen . Det andet mål er en ikke-lineær funktion af det første: $q(s)$ $s$ ${\mbox{inf}}(r)$

{\mbox{inf}}(s)=\log _{2}{\frac {1}{1-{\mbox{cont}}(s)))=\log _{2}{\ frac {1}{q(s)}}

Det er interessant for to logisk uafhængige sætninger , og vi har uligheden: , hvor " " er tegnet på det logiske bindeled "AND", hvorimod: $s_{1}$ $s_{2}$ ${\mbox{cont}}(s_{1})+{\mbox{cont}}(s_{2})>{\mbox{cont}}(s_{1}\land s_{2})$ $\jord$

{\mbox{inf}}(s_{1})+{\mbox{inf}}(s_{2})={\mbox{inf}}(s_{1}\land s_{2})

, (*)

som er mere velegnet til at måle mængden af information.

For at bestemme værdierne af de logiske sandsynligheder for sætninger konstruerer Bar-Hillel og Carnap et formelt sprog og bruger det til at sammensætte beskrivelser af alle mulige tilstande i universet (det såkaldte " sæt af mulige verdener "). Lad os give et eksempel på et simpelt sprog, hvor der er en konstant (hvorved vi mener pigen Alice) og to prædikater : og , der betegner egenskaberne "smuk" og "smart". Så betyder udtrykket sætningen "Alice er smuk", og udtrykket betyder "Alice er smart". Nu bruger vi den logiske forbindelse "NOT", som vi betegner med symbolet: " ". Så vil udtrykket betyde sætningen "Alice er ikke smuk", og udtrykket - "Alice er ikke smart." Vi kan nu sammensætte alle mulige beskrivelser af universets tilstande til vores ydmyge sprog. Der bliver fire i alt. $-en$ $B$ $W$ $B(a)$ $W(a)$ $\neg$ $\neg B(a)$ $\neg W(a)$

B(a)\land W(a)

B(a)\land \neg W(a)

\neg B(a)\land W(a)

\neg B(a)\land \neg W(a)

Som det kan ses, består hver verden af universet af logisk uafhængige atomsætninger (og deres negationer), kaldet grundlæggende. Normalt bruger formelle sprog en masse konstanter og mange prædikater, og ikke nødvendigvis enkelte . Så antallet af verdener kan være meget stort.

Hvis ingen forudsætninger er givet, så er de logiske sandsynligheder for alle verdener de samme. I dette tilfælde er størrelsen af den absolutte logiske sandsynlighed for sætningen lig med forholdet mellem antallet af verdener, hvor det er sandt, og det samlede antal verdener i universet. I teorien om Bar-Hillel og Carnap er de logiske sandsynligheder for analytiske udtryk de samme og lig med én (da de er sande i alle verdener), og den logiske sandsynlighed for modsigelse er nul. Værdierne af logiske sandsynligheder for syntetiske udtryk er i området fra nul til én. $s$ $s$

Jo flere verdener i universet, jo større er usikkerheden (med hensyn til hvilken verden der er sand). Efter at have modtaget beskeden , falder usikkerheden, da de verdener, hvor den er falsk, kan udelukkes fra overvejelse. Semantisk information i en sætning forstås som et sæt af udelukkede verdener (det er angivet med symbolet ). Med hensyn til denne definition skriver forfatterne, at den er i overensstemmelse med det gamle filosofiske princip " omnis determinatio est negatio " (" enhver definition er en undtagelse "). Nu til målingen kan vi skrive: $s$ $s$ $s$ ${\mbox{Cont}}(r)$ ${\mbox{fortsat}}(r)$

{\mbox{cont}}(s)={\frac {|{\mbox{Cont}}(s)|}{|{\mbox{U}}|}}

hvor er sættets kardinalitet , er kardinaliteten af sættet af alle universets verdener . $|{\mbox{Cont}}(r)|$ ${\mbox{Cont}}(r)$ $|{\mbox{U}}|$ ${\mbox{U}}$

Mængden af semantisk information i en besked vedrørende modtagerens viden er defineret som følger: $s$ $e$

{\mbox{inf}}(s/e)={\mbox{inf}}(s\land e)-{\mbox{inf}}(e)=\log _{2}{\frac {q(e)}{q(s\land e)}}=\log _{2}{\frac {1}{q(s/e)))

hvor er den relative (betingede) logiske sandsynlighed for udsagnets sandhed under forudsætning af, at udtrykket er sandt . $q(s/e)$ $s$ $e$

Det er bemærkelsesværdigt, at formlerne i Bar-Hillel og Carnap teorien rent udadtil ligner dem i Shannons teori. Både der og her har vi logaritmer og sandsynligheder . Kun i Shannon er alle sandsynligheder statistiske (det vil sige empiriske ) og ikke logiske.

Hvis den logiske sandsynlighed for udtrykket er mindre end den logiske sandsynlighed for udtrykket , så bringer beskeden ny information til modtageren og beriger dermed hans viden. Hvis det indebærer , så er det ækvivalent , og meddelelsen bærer ikke information til adressaten (da der ikke er noget nyt i det for ham). Hvis udtrykket er en selvmodsigelse, så . Mængden af semantisk information i modsigelsen ifølge Bar-Hillel og Carnap er lig med uendelig . Dette paradoksale resultat blev senere kritiseret af Luciano Floridi. $s\land e$ $e$ $s$ $e$ $s$ $s\land e$ $e$ $s$ $s\land e$ $q(s\land e)=0$

Alternative ideer

Selvom teorien om Bar-Hillel og Carnap stadig nyder forskernes opmærksomhed, forårsagede den en strøm af nye ideer. Alexander Kharkevich foreslog at måle værdien af information ved at ændre sandsynligheden for at opnå et bestemt mål, der sker under indflydelse af denne besked [6] . Julius Schrader mente, at mængden af semantisk information i et budskab af enhver art kan vurderes som graden af forandring i modtagerens vidensystem som følge af perceptionen af budskabet [7] . Ideen om det semantiske aspekt af forholdet mellem information og entropi blev først foreslået i 1966 af den sovjetiske filosof og logiker Yevgeny Kazimirovich Voishvillo i hans arbejde " Et forsøg på en semantisk fortolkning af de statistiske begreber information og entropi ".

Moderne teorier om semantisk information

Floridi-teorien

I sit arbejde fra 2004 angriber Luciano Floridi teorien om Bar Hillel og Carnap fra første linje: " Trekanten har fire sider": ifølge den klassiske teori om semantisk information indeholder denne modsigelse mere semantisk indhold end det betinget sande udsagn " Jorden har kun én måne “ ” [8] . Floridi kaldte dette " Bar-Hillel-Carnap-paradokset ". Han ser løsningen på dette paradoks i, at mængden af semantisk information i meddelelser ikke kun skal afhænge af det semantiske indhold, der er indeholdt i dem, men også af disse meddelelsers sandhedsværdi. Floridi introducerede begrebet en betinget falsk sætning ( kontingent falsk sætning ), som er en sammensætning af dens to bestanddele, hvoraf den ene er sand og den anden er falsk. Et eksempel på en sådan sætning er udsagnet: "Månen kredser om Jorden og indeni er den hul." En sådan sætning rummer samtidig information (for dem, der ikke ved, at Månen kredser om Jorden) og desinformation (i det almindelige liv støder man ofte på dette - desinformation er lettere at fremme, hvis den suppleres med noget information).

Fra klassisk logiks synspunkt er en betinget falsk sætning simpelthen falsk og indeholder kun desinformation. Ovenstående eksempel viser dog, at dette faktisk ikke er tilfældet. Den originale teori om Bar-Hillel og Carnap formår ikke at løse denne antinomi . Derfor afviste Floridi den (som en "svag" teori) og skabte sin egen - "stærk". Han opgav brugen af logiske sandsynligheder og udtalte, at teorien om semantisk information ikke burde ligne Shannons [9] . I hans egen fortolkning er mængden af semantisk information i en besked bestemt af, i hvilken grad denne besked svarer til situationen (det vil sige, hvad der sker et givet sted og på et givet tidspunkt). En inkonsistens opstår enten som følge af beskedens manglende indhold eller som følge af dens unøjagtighed. I sin teori bruger Floridi ikke direkte begrebet desinformation, i stedet introducerer han begrebet om graden af unøjagtighed af betinget falske sætninger. Graden af unøjagtighed i en betinget falsk sætning er lig med: $s$

-v(s)=-{\frac {f(s)}{l(s)}}

hvor er antallet af falske atomudtryk i ; er det samlede antal atomsætninger i . At bestemme sandheden af atomare påstande kræver accept af princippet om a priori alvidenhed. Graden af indholdsløshed af en sand sætning beregnes ved formlen: $f(s)$ $s$ $l(s)$ $s$ $s$

+v(s)={\frac {m(s)}{n))

hvor er antallet af verdener i universet, hvor det er sandt; er det samlede antal verdener i universet (bemærk, at værdien ifølge denne definition er nøjagtigt lig med værdien af den logiske sandsynlighed ). Yderligere introducerer Floridi begrebet funktionen af graden af informativitet: $m(s)$ $s$ $n$ $+v(s)$ $q(s)$

i(s)=1-v^{2}(s)

Mængden af semantisk information i meddelelsen er lig med et vist integral af funktionen af graden af informativitet : $i^{*}(s)$ $s$ $i(s)$

i^{*}(s)={\frac {3}{2}}\int \limits _{v(s)}^{1}(1-x^{2})\mathrm {d } x=1-{\frac {3v(s)}{2}}+{\frac {v^{3}(s)}{2}}

På trods af alle forskellene mellem den klassiske teori og den Floridiske teori, har de noget til fælles. Hvis er en sand sætning, så er værdien lig med værdien af den logiske sandsynlighed . Målingen ligner målet , men i modsætning til sidstnævnte er det en ikke-lineær funktion . Desværre er der i Floridis teori intet som et mål , der har den bemærkelsesværdige egenskab (*) for logisk uafhængige sætninger. $s$ $+v(s)$ $q(s)$ $i^{*}(s)$ ${\mbox{fortsat}}(r)$ $v(s)$ ${\mbox{inf}}(r)$

Teori om semantisk information og desinformation

Problemet rejst af Floridi kan løses inden for en teori baseret på logiske sandsynligheder. Det skal bemærkes, at i begyndelsen af det nuværende århundrede dannede nogle videnskabsmænd en skeptisk holdning til Carnaps induktive logik [10] . Imidlertid har moderne matematikere været i stand til at ændre situationen ved at modificere denne teori [11] [12] [13] . Takket være dette blev interessen for logiske sandsynligheder genoplivet igen.

I [14] foreslås det at modificere den klassiske teori om semantisk information ved at inkludere begrebet desinformation i den, som bæres af et falsk budskab. I den nye teori, som i Floridi-teorien, overvejes mange forskellige situationer (punkter i rum-tid). Den samme sætning i et sprog kan være sand i én situation og falsk i en anden. Da modtageren af meddelelser ikke kan være immun over for fejl i vurderingen af deres sandhed, vurderes mængden af semantisk information separat fra modtagerens synspunkt og fra en alvidende eksperts synspunkt.

I hver specifik situation indeholder en sand besked kun information, og en absolut falsk kun desinformation. En betinget falsk sætning betragtes som en konjunktion : , hvor er den sande del af meddelelsen, er den falske del af meddelelsen. Det kræves, at og være logisk uafhængig (dette er især nødvendigt, så modsigelsen ikke viser sig at være en betinget falsk sætning). Derefter defineres de ikke -normaliserede mål for mængden af information og mængden af misinformation i en betinget falsk sætning fra en eksperts synspunkt som følger: $s$ $s_{T}\land s_{F}$ $s_{T}$ $s_{F}$ $s_{T}$ $s_{F}$ ${\mbox{i}}_{E}(r)$ ${\mbox{mi}}_{E}(s)$ $s$

{\mbox{in}}_{E}(s)={\mbox{cont}}(s_{T})

{\mbox{mi}}_{E}(s)={\mbox{cont}}(s_{F})

Indekset " ", som markerer symbolerne " " og " " i formlerne, indikerer, at mængderne af information og desinformation betragtes fra en eksperts synspunkt. Normaliserede mål for mængden af semantisk information og desinformation i en betinget falsk sætning fra en eksperts synspunkt: $E$ ${\mbox{i}}$ ${\mbox{mi}}$ ${\mbox{inf}}_{E}(s)$ ${\mbox{mis}}_{E}(s)$ $s$

{\mbox{inf}}_{E}(s)=\log _{2}{\frac {1}{1-{\mbox{cont}}(s_{T}})))= \ log _{2}{\frac {1}{q(s_{T))}}

{\mbox{mis}}_{E}(s)=\log _{2}{\frac {1}{1-{\mbox{cont}}(s_{F}})))= \ log _{2}{\frac {1}{q(s_{F))}}

Kontrovers fra ekspertens synspunkt rummer ingen information og en uendelig mængde desinformation. Dette løser Bar-Hillel-Carnap-paradokset. Den uendelige mængde desinformation forklares med, at hvis modsigelsen pludselig forekom nogen sandheden, så ville verden ændre sig for ham til ukendelighed. To ord kan ikke beskrive det. Antag, at modtageren af information har betinget falsk viden , svarende til konjunktionen: , hvor er den sande del af hans viden, er vildfarelse. Så fra en eksperts synspunkt, efter at have modtaget en betinget falsk besked , har adressaten faktisk semantisk information og misinformation i følgende mængder: $e$ $e_{T}\land e_{F}$ $e_{T}$ $e_{F}$ $s$

{\mbox{inf}}_{E}(s/e)=\log _{2}{\frac {q(e_{T})}{q(s_{T}\land e_{T })}}=\log _{2}{\frac {1}{q(s_{T}/e_{T})}}

{\mbox{mis}}_{E}(s/e)=\log _{2}{\frac {q(e_{F})}{q(s_{F}\land e_{F })}}=\log _{2}{\frac {1}{q(s_{F}/e_{F})}}

Hvis modtageren opfatter som en sand sætning, og konjunktionen ikke er en selvmodsigelse, modtog han fra hans synspunkt følgende mængde information: $s$ $s\land e$

{\mbox{inf}}_{R}(s/e)=\log _{2}{\frac {1}{q(s/e)))={\mbox{inf}}_ {E}(s/e)+{\mbox{mis}}_{E}(s/e)

Suffikset " " angiver modtagerens vurdering. Det er klart, at kun en ekspert kan bestemme den nøjagtige mængde information (og misinformation) i en indgående besked, og modtageren er kun i stand til mere eller mindre præcise estimater. $R$

Teorien om universel semantisk information

En formel beskrivelse af semantisk information gældende for alle slags fysiske systemer (levende og ikke-levende) er givet af matematikeren David Wolpert i hans værk "Semantic information, agency, and nonequilibrium statistical physics": den syntaktiske information, som et fysisk system har om miljøet, og som er kausalt nødvendigt for, at systemet kan opretholde sin egen eksistens i en tilstand af lav entropi.

Tilfældig nødvendighed defineres i form af kontrafaktiske indgreb, der randomiserer sammenhænge mellem systemet og miljøet. Kriteriet for graden af autonomi i et fysisk system er mængden af tilgængelig semantisk information.

Noter

↑ Shannon CE, Weaver W., (1949), The Mathematical Theory of Communication, Urbana: University of Illinois Press. Forord af Richard E. Blahut og Bruce Hajek; genoptrykt i 1998.
↑ Luger D.F. Kunstig intelligens: strategier og metoder til løsning af komplekse problemer. – M.: Williams Publishing House, 2005. – 864 s. ISBN 5-8459-0437-4 (russisk)
↑ Dmitriev V.I. Anvendt informationsteori. - M.: Højere skole, 1989. - 320 s. ISBN 5-06-000038-9
↑ Shannon CE, (1948), A Mathematical Theory of Communication. Klokkesystem. Tech. J., 27: 379-423, 623-656.
↑ Bar-Hillel Y., Carnap R., (1952), "An Outline of a Theory of Semantic Information", teknisk rapport nr. 247, 27. oktober, Forskningslaboratoriet for Elektronik. – 49. [1] Arkiveret 12. juli 2013.
↑ Kharkevich A. A. Om værdien af information, "Problems of Cybernetics", 1960, ca. 4. - s. 54.
↑ Shreider Yu. A., (1965), On one model of the semantic theory of information, "Problems of Cybernetics", v. 13. - s. 233-240.
↑ Floridi L. (2004), "Outline of a Theory of Strongly Semantic Information", Minds and Machines, 14(2), 197-222. [2] Arkiveret 2. august 2014 på Wayback Machine
↑ Floridi L. (2011), Semantic Conception of Information, In The Stanford Encyclopedia of Philosophy, red. Edward N. Zalta, [3] Arkiveret 5. september 2015 på Wayback Machine
↑ Hajek Alan. (2007). Fortolkning af sandsynlighed. I The Stanford Encyclopedia of Philosophy, red. Edward N. Zalta, [4] (link ikke tilgængeligt)
↑ Maher Patrick, (2010). Forklaring af induktiv sandsynlighed. Journal of Philosophical Logic 39(6): 593-616.
↑ Zabell S.I. (2004). Carnap og logikken i induktiv inferens. I Dov M. Gabbay, John Woods & Akihiro Kanamori (red.), Handbook of the History of Logic. Elsevier 265-309.
↑ Ruurik Holm (2013). Ikke-nul sandsynligheder for universelle generaliseringer. Synthese 190 (18): 4001-4007.
↑ Pogorelov O. A. (2015). Semantisk information og desinformation // Indsamling af videnskabelige artikler baseret på resultaterne af V International Scientific and Practical Conference "Informatics, Mathematical Modeling, Economics" (Smolensk, 11.-15. maj 2015), s. 132-143. [5]