Renyi entropi

I informationsteorien er Rényi-entropien , en generalisering af Shannon -entropien , en familie af funktionaler, der bruges som et mål for den kvantitative mangfoldighed, usikkerhed eller tilfældighed i et eller andet system. Opkaldt efter Alfred Renyi .

Hvis et system har et diskret sæt af tilgængelige tilstande , som svarer til sandsynlighedsfordelingen for (det vil sige sandsynligheden for, at systemet er i tilstande ), så defineres Rényi-entropien med parameteren (at og ) for systemet som $X=\{x_{1},...,x_{n}\}$ $p_{i}$ $i=1,...,n$ $p_{i}$ $x_{i}$ $\alfa$ $\alpha \geq 0$ $\alpha \neq 1$

H_{\alpha }(X)={\frac {1}{1-\alpha }}\log \sum _{i=1}^{n}p_{i}^{\alpha }={ \frac {1}{1-\alpha }}\log {\Big \langle }p^{\alpha -1}{\Big \rangle }

hvor vinkelparenteser angiver den matematiske forventning ved fordeling ( er sandsynligheden for, at systemet er i en bestemt tilstand som en tilfældig variabel ), tages logaritmen i grundtal 2 (til at tælle i bit) eller i en anden bekvem base (den skal være større end 1). Grundlaget for logaritmen bestemmer entropienheden. Så i matematisk statistik bruges den naturlige logaritme normalt . $p_{i}$ $s$

Hvis alle sandsynligheder er , så er Rényi entropien for enhver . Ellers falder -entropien som funktion af . Desuden giver højere værdier (som går til det uendelige) Renyi-entropiværdierne, der stort set kun bestemmes af de højeste sandsynligheder for begivenheder (det vil sige, at bidraget fra tilstande med lav sandsynlighed til entropien falder). Det mellemliggende tilfælde i grænsen giver Shannon-entropien, som har særlige egenskaber. Lavere værdier (går til nul) giver en Rényi-entropiværdi, der vægter mulige hændelser mere jævnt, mindre afhængig af deres sandsynligheder. Og når vi får den maksimalt mulige -entropi lig uanset fordelingen (hvis kun ). $p_{i}=1/n$ $\alfa$ $H_{\alpha }(X)=\log n$ $\alfa$ $\alfa$ $\alfa$ $\alpha =1$ $\alfa$ $\alpha =0$ $\alfa$ $\log n$ $p_{i}\neq 0$

Betydningen af parameteren kan, uformelt talt, beskrives som den funktionelles modtagelighed for afvigelsen af systemets tilstand fra ligevægtstilstanden: jo større , jo hurtigere falder entropien, når systemet afviger fra ligevægtstilstanden. Betydningen af begrænsningen er at give en stigning i entropi, når systemet nærmer sig en ligevægtstilstand (mere sandsynlig). Dette krav er naturligt for begrebet entropi . Det skal bemærkes, at for Tsallis-entropien , som svarer til Renyi-entropien op til en monoton transformation uafhængig af , udelades den tilsvarende begrænsning ofte, mens dens minimering for negative værdier af parameteren i stedet for at maksimere entropien anvendes. $\alfa$ $\alfa$ $\alpha \geq 0$ $x$

Rényi-entropien spiller en vigtig rolle i økologi og statistik, idet den definerer de såkaldte diversitetsindekser . Rényi-entropien er også vigtig i kvanteinformation og kan bruges som et mål for kompleksitet . I Heisenberg-kæden blev Rényi-entropien beregnet i form af modulære funktioner afhængigt af . De fører også til et spektrum af fraktale dimensionseksponenter . $XY$ $\alfa$

H α for nogle specifikke værdier af α

Nogle særlige tilfælde

For , Rényi-entropien afhænger ikke af tilstandssandsynlighederne (det degenererede tilfælde) og er lig med logaritmen af antallet af tilstande (logaritmen af mængdens potens ): $\alpha=0$ $x$

H_{0}(X)=\log n=\log |X|

Denne entropi kaldes nogle gange for Hartley-entropien . Det bruges for eksempel i formuleringen af Boltzmann-princippet .

I grænsen ved , kan det vises ved hjælp af L'Hopitals regel , at det konvergerer til Shannon-entropien . Således kan Rényi-entropifamilien udvides med den funktionelle $\alpha \to 1$ ${\displaystyle H_{\alpha ))$

H_{1}(X){\stackrel {\mathrm {df} }{\;=\;}}\lim _{\alpha \to 1}H_{\alpha }(X)=H(X )=-\sum _{i=1}^{n}p_{i}\log p_{i}

Den kvadratiske entropi, nogle gange kaldet kollisionsentropien, er Rényi-entropien med parameteren : $\alpha =2$

H_{2}(X)=-\log \sum _{i=1}^{n}p_{i}^{2}=-\log \operatornavn {Prob} \{x=y\}

hvor og er uafhængige stokastiske variable ligeligt fordelt på mængden med sandsynligheder ( ). Kvadratisk entropi bruges i fysik , signalbehandling , økonomi . $x$ $y$ $x$ $p_{i}$ $i=1,...,n$

Der er en grænse

H_{\infty }(X){\stackrel {\mathrm {df} }{\;=\;}}\lim _{\alpha \to \infty }H_{\alpha }(X)=- \log \sup _{i}p_{i}

som kaldes min-entropi , fordi det er den mindste værdi af . Denne entropi er også et degenereret tilfælde, da dens værdi kun bestemmes af den mest sandsynlige tilstand. ${\displaystyle H_{\alpha ))$

Uligheder for forskellige værdier af α

De sidste to sager er relateret til . På den anden side kan Shannon-entropien være vilkårligt høj for en fordeling X med en fast min-entropi. ${\displaystyle H_{\infty }<H_{2}<2H_{\infty ))$ $H_{1}(X)$

{\displaystyle H_{2}<2H_{\infty ))

fordi .

\log \sum \limits _{i=1}^{n}{p_{i}^{2}}\geq \log \sup _{i}p_{i}^{2}=2\ log \sup _{i}p_{i}

{\displaystyle H_{\infty }<H_{2))

, fordi .

\log \sum \limits _{i=1}^{n}{p_{i}^{2}}<\log \sup _{i}p_{i}\left({\sum \limits _{i=1}^{n}{p_{i}}}\right)=\log \sup _{i}p_{i}

H_{1}\geq H_{2}

ifølge Jensens ulighed .

\sum \limits _{i=1}^{n}{p_{i}\log p_{i}}\leq \log \sum \limits _{i=1}^{n}{p_{ i}^{2}}

Afvigelser (divergenser) af Renyi

Ud over entropifamilien definerede Rényi også en række divergensmål (divergenser), der generaliserer Kullback-Leibler divergensen . Formlerne i dette afsnit er skrevet i en generel form - gennem en logaritme i en vilkårlig base. Derfor skal du forstå, at hver given formel er en familie af ækvivalente funktionaler defineret op til en konstant (positiv) faktor.

Rényi divergensen med parameter , hvor og , fordeling i forhold til fordeling (eller "afstand fra til ") er defineret som $\alfa$ $\alfa >0$ $\alpha \neq 1$ $Q$ $P$ $P$ $Q$

D_{\alpha }(P\|Q)={\frac {1}{\alpha -1}}\log \sum _{i=1}^{n}p_{i}^{\alpha }q_{i}^{1-\alpha }={\frac {1}{\alpha -1}}\log {\Big \langle}(p/q)^{\alpha -1}::P{ \big\rangle}

eller (formelt uden at tage højde for normaliseringen af sandsynligheder)

D_{\alpha }(P\|Q)=-H_{\alpha }{\Bigg (}{\frac {p}{q^{1-1/\alpha }}}{\Bigg )}

{\displaystyle H_{\alpha }(P)=-\venstre.D_{\alpha }(P\|Q)\right|_{q=1))

Ligesom Kullback-Leibler-divergensen af , er Rényi-divergensen ikke-negativ for . $\alfa >0$

Nogle særlige tilfælde

For , Renyi divergensen er ikke defineret, men familien af divergenser kan udvides med elementet $\alpha=0$

D_{0}(P\|Q){\stackrel {\mathrm {df} }{\;=\;}}\lim _{\alpha \to 0}D_{\alpha }(P\| Q)=-\log \sum _{i=1}^{n}q_{i}\operatørnavn {sgn} p_{i}

: minus logaritmen af summen af sandsynligheder således at den tilsvarende .

q

p>0

${\displaystyle D_{1/2}(P\|Q)=-2\log \sum _{i=1}^{n}{\sqrt {p_{i}q_{i))))$ : Bhattacharya-afstand (minus logaritmen af Bhattacharya-koefficienten , ignorerer en ubetydelig faktor ). Denne uoverensstemmelse, op til en monoton transformation , svarer til Hellinger-afstanden og den sfæriske Bhattacharya-Rao-afstand , men i modsætning til dem opfylder den ikke trekantens ulighed og er derfor ikke en metrik i fordelingernes rum. $2$

$D_{1}(P\|Q){\stackrel {\mathrm {df} }{\;=\;}}\lim _{\alpha \to 1}D_{\alpha }(P\| Q)=D_{KL}(P\|Q)=\sum _{i=1}^{n}p_{i}\log {\frac {p_{i}}{q_{i}}}={ \Big \langle }\log {\frac {p}{q}}::P{\Big \rangle }$ : Kullback-Leibler divergens (lig med middelværdien af fordelingen af logaritmen af sandsynlighedsforholdet ). $P$ $p/q$

$D_{2}(P\|Q)=\log \sum _{i=1}^{n}{\frac {p_{i}^{2}}{q_{i}}}=\ log {\Big \langle }{\frac {p}{q}}::P{\Big \rangle }$ : logaritme af den forventede værdi over fordelingen af sandsynlighedsforholdet . Denne uoverensstemmelse, op til en monoton transformation , svarer til chi-kvadratafstanden . $P$ $p/q$ $D_{\chi ^{2}}(Q\|P)=\sum _{i=1}^{n}{\frac {(p_{i}-q_{i})^{2} }{q_{i}}}$

$D_{\infty }(P\|Q){\stackrel {\mathrm {df} }{\;=\;))\lim _{\alpha \to \infty }D_{\alpha }(P \|Q)=\log \sup _{i}{\frac {p_{i}}{q_{i}}}$ : logaritme af det maksimale forhold mellem sandsynligheder . $p/q$

Finansiel (spil) fortolkning

Overvej et spil (lotteri) ved at gætte en tilfældig variabel. De officielle vinderrater er kendt og offentliggjort som en sandsynlighedsfordeling . I mellemtiden falder den sande sandsynlighedsfordeling muligvis ikke sammen med . At kende den sande fordeling gør det muligt for spilleren at tjene. Den forventede kapitalvækst er eksponentiel. I betragtning af at fordelingen er korrekt , kan spilleren beregne (hans) matematiske forventninger til den eksponentielle vækstrate for kapital (pr. spillets runde) [Soklakov2020 ]: $m$ $m$ $b$

Forventet vækst

={\frac {1}{R}}\,D_{1}(b\|m)+{\frac {R-1}{R}}\,D_{1/R}(b\ |m)\,,

hvor angiver det relative mål for Arrow-Pratt risikoaversion. $R$

Ved at angive den sande fordeling (der ikke nødvendigvis falder sammen med spillerens mening ), kan den faktisk opnåede vækst beregnes i grænsen for et spil med flere spil [Soklakov2020 ]: $s$ $b$

Faktisk højde

={\frac {1}{R}}\,{\Big (}D_{1}(p\|m)-D_{1}(p\|b){\Big )}+{\ frac {R-1}{R}}\,D_{1/R}(b\|m)\,.

Hvorfor er tilfældet α = 1 speciel

Værdien af , som svarer til Shannon-entropien og Kullback-Leibler divergensen , er speciel, fordi kun i dette tilfælde kan man udtrække variablerne A og X fra den fælles sandsynlighedsfordeling, således at $\alpha=1$

{\displaystyle H(A,X)=H(A)+\mathbb {E} _{p(a)}\{H(X|a)\))

for entropi, og

D_{\mathrm {KL} }(p(x|a)p(a)||m(x,a))=\mathbb {E} _{p(a)}\{D_{\mathrm {KL} }(p(x|a)||m(x|a))\}+D_{\mathrm {KL} }(p(a)||m(a))

—

for divergens.

Sidstnævnte betyder, at hvis vi leder efter en fordeling , der minimerer afvigelserne i nogle underliggende mål , og vi får ny information, som kun påvirker fordelingen , så vil fordelingen ikke blive påvirket af ændringer i . $p(x,a)$ $m(x,a)$ $-en$ $p(x|a)$ $m(x|a)$

I det generelle tilfælde opfylder Rényi divergenser med vilkårlige værdier betingelserne for ikke-negativitet, kontinuitet og invarians under transformation af koordinater af tilfældige variable. En vigtig egenskab ved enhver Rényi-entropi og divergens er additivitet: når og er uafhængige, følger det, at $\alfa$ $EN$ $x$ $p(A,X)=p(A)p(X)$

H_{\alpha }(A,X)=H_{\alpha }(A)+H_{\alpha }(X)

D_{\alpha }(P(A)P(X)\|Q(A)Q(X))=D_{\alpha }(P(A)\|Q(A))+D_{\ alfa }(P(X)\|Q(X))

De stærkeste case-egenskaber , som involverer definitionen af betinget information og gensidig information fra kommunikationsteori, kan være meget vigtige i andre applikationer, eller slet ikke vigtige, afhængigt af kravene til disse applikationer. $\alpha=1$

Renyi krydsentropi

Krydsentropien af to fordelinger med sandsynligheder og ( ) i det generelle tilfælde kan defineres på forskellige måder (afhængigt af applikationen), men skal opfylde betingelsen . En af definitionerne ( Shannon-krydsentropien har en lignende egenskab ): $H_{\alpha }(P,Q)$ $p_{i}$ $q_{i}$ $i=1,...,n$ $H_{\alpha }(P,P)=H_{\alpha }(P)$

H_{\alpha }(P,Q)=H_{\alpha }(P)+D_{\alpha }(P,Q)

En anden definition foreslået af A. Renyi kan fås ud fra følgende betragtninger. Vi definerer det effektive antal systemtilstande som det geometriske vægtede gennemsnit af værdier med vægte : ${\displaystyle 1/q_{i))$ $p_{i}$

{\overline {n}}=\prod _{i=1}^{n}(1/q_{i})^{p_{i}}

Dette indebærer udtrykket for Shannons krydsentropi

H(P,Q)=\log {\overline {n}}=-\sum _{i=1}^{n}p_{i}\log q_{i}

Argumenterer på en lignende måde, definerer vi det effektive antal systemtilstande som et vægtet effektlovgennemsnit af værdier med vægte og parameter : ${\displaystyle 1/q_{i))$ $p_{i}$ $1-\alfa$

{\overline {n}}=\left(\sum _{i=1}^{n}p_{i}(1/q_{i})^{1-\alpha }\right)^{ \frac {1}{1-\alpha }}=\left(\sum _{i=1}^{n}p_{i}q_{i}^{\alpha -1}\right)^{\frac {1}{1-\alpha}}

Således har Renyi krydsentropien formen

H_{\alpha }(P,Q)=\log {\overline {n}}={\frac {1}{1-\alpha }}\log \sum _{i=1}^{n }p_{i}q_{i}^{\alpha -1}={\frac {1}{1-\alpha }}\log {\Big \langle }q^{\alpha -1}::P{ \big\rangle}

Det er let at se, at hvis sandsynlighedsfordelingerne er sammenfaldende , falder kryds-Renyi-entropien sammen med Rényi-entropien. $s$ $q$
Også ved konvergerer Renyi krydsentropien til Shannon krydsentropien . $\alpha \to 1$
Egenskaben , som er gyldig for Shannon-krydsentropien, gælder ikke i det generelle tilfælde. Kryds-Renyi-entropien kan enten være større eller mindre end Renyi-entropien. $H(P,Q)=H(P)+D_{KL}(P\|Q)\geq H(P)$

Kontinuerlig kasus

For en formel generalisering af Shannon-entropien til tilfældet med en kontinuerlig fordeling, bruges begrebet differentiel entropi . Rényi differentialentropien er defineret på nøjagtig samme måde:

H_{\alpha }(f)={\frac {1}{1-\alpha }}\log \int \limits _{X}^{}{f^{\alpha}(x)}dx

Rényi divergensen i det kontinuerlige tilfælde er også en generalisering af Kullback-Leibler divergensen og har formen

D_{\alpha }(g,f)={\frac {1}{\alpha -1}}\log \int \limits _{X}^{}{g^{\alpha }(x) f^{1-\alpha }(x)}dx

Definitionen af krydsentropi, foreslået af A. Renyi, i det kontinuerlige tilfælde har formen

H_{\alpha }(g,f)={\frac {1}{1-\alpha }}\log \int \limits _{X}^{}{g(x)f^{\alpha -1}(x)}dx

I ovenstående formler , og er nogle sandsynlighedstæthedsfunktioner , defineret på intervallet , og det antages , at . $f(x)$ $g(x)$ $X\subseteq R$ $\alfa >0$ $\alpha \neq 1$

Litteratur

A. Renyi (1961). "Om mål for information og entropi" (PDF) . Proceedings of the 4th Berkeley Symposium on Mathematics, Statistics and Probability 1960 . pp. 547-561.
A. O. Hero, O. Michael og J. Gorman. Alfa-divergenser til klassificering, indeksering og genfinding (engelsk) : tidsskrift. - 2002.
F. Nielsen og S. Boltz. Burbea-Rao og Bhattacharyya centroider (neopr.) . – 2010.
OA Rosso EEG-analyse ved hjælp af wavelet-baserede informationsværktøjer. Journal of Neuroscience Methods 153 (2006) 163–182
Rényi-entropi som et mål for sammenfiltring i kvantespinkæde: F. Franchini, AR Its, VE Korepin, Journal of Physics A: Math. Theor. 41 (2008) 025302 [1]

Soklakov, A.N. (2020). "Økonomi af uenighed - finansiel intuition for Rényi-divergensen" . Entropi . 22 (8) : 860. arXiv : 1811.08308 . DOI : 10.3390/e22080860 .