Tsallis entropi

I statistisk termodynamik er Tsallis-entropien en generalisering af standard Boltzmann-Gibbs-entropien foreslået af Constantino Tsallis [1] i 1988 for ikke-ekstensive (ikke-additive) systemer. Hans hypotese er baseret på antagelsen om, at den stærke vekselvirkning i et termodynamisk anomalt system fører til nye frihedsgrader, til en helt anden statistisk fysik af ikke-Boltzmann-typen.

Definition og baggrund

Lade være en sandsynlighedsfordeling og være ethvert mål , for hvilket der eksisterer en absolut kontinuerlig med hensyn til funktion . Så er Tsallis-entropien defineret som $P$ $\mu$ $x$ $\mu$ $p={\frac {dP}{d\mu }}$

S_{q}(P)={k \over q-1}\left(1-\int \limits _{X}^{}{p^{q}}d\mu \right).

Især for et diskret system i en af de tilgængelige tilstande med en sandsynlighedsfordeling , $N$ ${\displaystyle P=\{p_{i}\,|\,i=1,2,...,N\))$

S_{q}(P)={k \over q-1}\left(1-\sum _{i=1}^{N}p_{i}^{q}\right)

I tilfældet med Lebesgue-foranstaltningen , dvs. hvornår er en kontinuerlig fordeling med tæthed angivet på sættet , $\mu=x$ $P$ $p(x)$ $x$

S_{q}(P)={k \over q-1}\left(1-\int \limits _{X}^{}{p^{q}(x)}dx\right)

I disse formler er det en positiv konstant, der bestemmer entropienheden, og i fysiske formler tjener den til at forbinde dimensioner, såsom for eksempel Boltzmann-konstanten . Ud fra entropioptimeringsproblemets synspunkt er denne konstant ubetydelig; derfor antages det for nemheds skyld ofte, at . $k$ $k=1$

Parameteren er en dimensionsløs værdi ( ), som karakteriserer graden af ikke- ekstensivitet (ikke-additivitet) af det pågældende system. I grænsen ved , konvergerer Tsallis-entropien til Boltzmann-Gibbs-entropien . At , Tsallis - entropien er en konkav funktion af sandsynlighedsfordelingen og når ligesom den almindelige entropi sit maksimum ved en ensartet fordeling . For , den funktionelle er konveks og når et minimum i tilfælde af en ensartet fordeling. Derfor, for at søge efter en ligevægtstilstand for et isoleret system ved , skal Tsallis-entropien maksimeres, og for , skal den minimeres [2] . Parameterværdien er et degenereret tilfælde af Tsallis-entropien, når den ikke afhænger af , men kun afhænger af , dvs. på systemets størrelse (fra i det diskrete tilfælde). $q$ $q\in R$ $q\til 1$ $q>0$ $q<0$ $q>0$ $q<0$ $q=0$ $P$ $\mu (X)$ $N$

I det kontinuerlige tilfælde kræves det nogle gange, at støtten af den stokastiske variabel er dimensionsløs [3] . Dette sikrer korrektheden af den funktionelle entropi set fra et dimensionssynspunkt. $x$

Historisk set blev det første udtryk for Tsallis-entropien (mere præcist for dets specielle tilfælde ved ) opnået af J. Havrda og F. Charvát [4] i 1967. På samme tid er ved Tsallis-entropien et specialtilfælde af f - entropi [5] (for f -entropi er værdien modsat Tsallis-entropien). $k={q-1 \over 1-2^{1-q))$ $q>0$ $q<0$

Nogle forhold

Tsallis-entropien kan fås fra standardformlen for Boltzmann-Gibbs-entropien ved at erstatte den funktion, der bruges i den, med funktionen $\ln x$

\ln _{q}x={x^{q-1}-1 \over q-1}

— den såkaldte q - deformerede logaritme eller blot q -logaritme (i grænsen for, når den falder sammen med logaritmen) [6] . K. Tsallis brugte [7] en lidt anderledes formel for q -logaritmen, som reduceres til den her angivne ved at erstatte parameteren med . $q\til 1$ $q$ $2-q$

En anden måde [7] at opnå Tsallis-entropien på er baseret på den relation, der er gyldig for Boltzmann-Gibbs-entropien :

{\displaystyle S(P)=-k\lim _{t\højrepil 1}{\frac {d}{dt))\sum _{i=1}^{N}p_{i}^{t))

Det er let at se, at hvis vi erstatter den almindelige afledte i dette udtryk med q - afledte (også kendt som Jackson-afledte), får vi Tsallis-entropien:

S_{q}(P)=-k\lim _{t\rightarrow 1}\,\left({\frac {d}{dt))\right)_{q}\sum _{i= 1}^{N}p_{i}^{t}

Tilsvarende for det kontinuerlige tilfælde:

S_{q}(P)=-k\lim _{t\rightarrow 1}\,\left({\frac {d}{dt))\right)_{q}\int \limits _{ X}^{}{p^{t}(x)}dx

Ikke-udstrækning (ikke-additivitet)

Lad der være to uafhængige systemer og , dvs. systemer således, at i det diskrete tilfælde er den fælles sandsynlighed for forekomsten af to tilstande og i disse systemer lig med produktet af de tilsvarende sandsynligheder: $EN$ $B$ $a\i A$ $b\i B$

\operatørnavn {Prob} (a,b)=\operatørnavn {Prob} (a)\operatørnavn {Prob} (b)

og kontinuerligt er den fælles sandsynlighedsfordelingstæthed lig med produktet af de tilsvarende tætheder:

p_{AB}(x,y)=p_{A}(x)p_{B}(y)

hvor , er værdiområderne for den stokastiske variabel i systemer og hhv. $x\i X$ $y\i Y$ $EN$ $B$

I modsætning til Boltzmann-Gibbs- entropien og Rényi - entropien har Tsallis-entropien generelt set ikke additivitet , og for et sæt systemer er det sandt [7]

S_{q}(AB)=S_{q}(A)+S_{q}(B)+{1-q \over k}S_{q}(A)S_{q}(B)

Da additivitetsbetingelsen for entropi er

S(AB)=S(A)+S(B)

afvigelsen af parameteren fra karakteriserer systemets ikke-udstrækning (ikke-additivitet). Tsallis-entropien er kun omfattende for . $q$ $en$ $q=1$

Tsallis-divergensen

Sammen med Tsallis-entropien betragter man også en familie af asymmetriske Tsallis-mål for divergens (divergens) mellem sandsynlighedsfordelinger med en fælles støtte. For to diskrete fordelinger med sandsynligheder og , , er Tsallis-divergensen defineret som [8] $A=\{a_{i}\}$ $B=\{b_{i}\}$ $i=1,2,...,N$

D_{q}(A,B)={k \over q-1}\left(\sum _{i=1}^{N}a_{i}^{q}b_{i}^{ 1-q}-1\right)

I det kontinuerlige tilfælde, hvis fordelingerne og er givet ved henholdsvis tæthederne og , hvor , $EN$ $B$ $økse)$ $b(x)$ $x\i X$

D_{q}(A,B)={k \over q-1}\left(\int \limits _{X}^{}{a^{q}(x)b^{1-q }(x)}dx-1\right)

I modsætning til Tsallis-entropien er Tsallis-divergensen defineret ved . En ubetydelig positiv konstant i disse formler, såvel som for entropi, sætter måleenheden for divergens og udelades ofte (antages at være lig med ). Tsallis-divergensen er et specialtilfælde af α-divergens [9] (op til en ubetydelig konstant) og er ligesom α-divergens konveks i begge argumenter for alle . Tsallis-divergensen er også et specialtilfælde af f -divergensen . $q>0$ $k$ $en$ $q>0$

Tsallis divergensen kan fås fra Kullback-Leibler divergensformlen ved at erstatte den q -deformerede logaritme defineret ovenfor i stedet for funktionen . I grænsen ved konvergerer Tsallis-divergensen til Kullback-Leibler-divergensen . $\ln x$ $q\til 1$

Forholdet mellem Rényi og Tsallis formalismer

Rényi -entropien og Tsallis-entropien er ækvivalente [8] [10] op til en monoton transformation uafhængig af fordelingen af systemtilstande. Det samme gælder for de tilsvarende divergenser. Overvej for eksempel Rényi-entropien for et system med et diskret sæt tilstande : $P$ $\{p_{i}|i=1,2,...,N\}$

{\widetilde {S}}_{q}(P)={{\widetilde {k}} \over 1-q}\ln \sum _{i=1}^{N}p_{i} ^{q}

, .

q\geq 0

Renyi divergens for diskrete fordelinger med sandsynligheder og , : $A=\{a_{i}\}$ $B=\{b_{i}\}$ $i=1,2,...,N$

{\widetilde {D}}_{q}(A,B)={{\widetilde {k}} \over q-1}\ln \sum _{i=1}^{N}a_{ i}^{q}b_{i}^{1-q}

, .

q>0

I disse formler har den positive konstant samme betydning som i Zallis-formalismen. ${\widetilde {k))$ $k$

Det er let at se det

S_{q}(P)=T_{2-q}({\widetilde {S))_{q}(P))

D_{q}(A,B)=T_{q}({\widetilde {D}}_{q}(A,B))

hvor er funktionen

{\displaystyle T_{q}(x)=k{\exp(x(q-1)/{\widetilde {k)))-1 \over q-1))

er defineret på hele den reelle akse og øges løbende i (som vi antager ). Ovenstående relationer gælder også i det kontinuerlige tilfælde. $x$ $q=1$ $T_{q}(x)={k \over {\widetilde {k))}x$

På trods af tilstedeværelsen af denne forbindelse skal det huskes, at funktionalerne i Rényi og Tsallis formalismerne har forskellige egenskaber:

Tsallis-entropien er generelt set ikke additiv, mens Rényi-entropien er additiv for alle ; $q>0$
entropien og divergensen af Tsallis er konkave eller konvekse (undtagen ), mens entropien og divergensen af Renyi generelt set ikke har nogen egenskaber [11] . $q=0$

Noter

↑ Tsallis, C. Mulig generalisering af Boltzmann-Gibbs statistik // Journal of Statistical Physics : journal. - 1988. - Bd. 52 . - S. 479-487 . - doi : 10.1007/BF01016429 . - .
↑ Zaripov R. G. Nye mål og metoder inden for informationsteori . - Kazan: Kazan Publishing House. stat tech. un-ta, 2005. - 364 s.
↑ Plastino A., Plastino AR Tsallis Entropy and Jaynes' Information Theory Formalism // Brazilian Journal of Physics. - 1999. - T. 29 . - S. 1-35 .
↑ Havrda, J.; Charvat, F. Kvantificeringsmetode for klassificeringsprocesser. Begrebet strukturel α-entropi (engelsk) // Kybernetika : journal. - 1967. - Bd. 3 , nr. 1 . - S. 30-35 .
↑ Csiszár I. En klasse af mål for informativitet af observationskanaler. // Periodica Math. hungar. - 1972. - T. 2 . - S. 191-213 .
↑ Oikonomou T., Bagci GB En note om definitionen af deformerede eksponentielle og logaritmefunktioner // Journal of Mathematical Physics. - 2009. - T. 50 , no. 10 . - S. 1-9 .
↑ 1 2 3 Tsallis C. Ikke omfattende eksperimentel statistik: Teoretiske og beregningsmæssige beviser og sammenhænge // Brazilian Journal of Physics. - 1999. - T. 29 , no. 1 . - S. 53 .
↑ 1 2 Nielsen F., Nock R. Om Renyi og Tsallis entropier og divergenser for eksponentielle familier // arXiv:1105.3259. - 2011. - S. 1-7 .
↑ Waters A. Alpha divergens // STAT 631 / ELEC 633: Grafiske modeller. - Rice Univercity, 2008. - S. 1-4 .
↑ Sonnino G., Steinbrecher G. Sonnino A. The Rényi entropy of Lévy distribution // Physics AUC. - 2013. - T. 23 . - S. 10-17 .
↑ Xu D., Erdogmuns D. Renyis entropi, divergens og deres ikke-parametriske estimator // JC Principe, Informationsteoretisk læring: Renyis entropi og kerneperspektiver. - Springer Science + Business Media, LLC, 2010. - S. 47-102 .