Entropi maksimum princip

Den aktuelle version af siden er endnu ikke blevet gennemgået af erfarne bidragydere og kan afvige væsentligt fra den version , der blev gennemgået den 8. december 2015; checks kræver 32 redigeringer .

Princippet om maksimal entropi siger, at de mest karakteristiske sandsynlighedsfordelinger af tilstande i et usikkert miljø er dem, der maksimerer det valgte usikkerhedsmål for en given information om miljøets "adfærd". For første gang blev en sådan tilgang brugt af D.Gibbs til at finde ekstreme fordelingsfunktioner af fysiske ensembler af partikler . Efterfølgende foreslog E. Janes en formalisme til at genoprette ukendte love for fordeling af tilfældige variable i nærværelse af restriktioner fra betingelserne for maksimum af Shannons entropi .

Historie

Overvej en diskret tilfældig variabel , der kan tage værdier med sandsynligheder . Sandsynligheden er ikke kendt. Men den matematiske forventning om en eller anden funktion af en given stokastisk variabel er kendt :. Baseret på disse oplysninger, hvad er den forventede værdi af funktionen ? $x$ $x_{1},...,x_{n}$ ${\displaystyle p_{1},...,p_{n))$ ${\displaystyle M[f(x)]=\sum \limits _{i=1}^{n}{f({x_{i))){p_{i))))$ $g(x)$

Ved første øjekast virker opgaven uløselig, da det er nødvendigt at kende sandsynlighedsfordelingen på forhånd , og den indledende information er ikke nok til at finde alle sandsynligheder . Forventningsligningen for funktionen giver sammen med normaliseringsligningen kun to af de ligninger, der er nødvendige for at kompilere et ligningssystem. $x$ ${\displaystyle p_{i))$ $f(x)$ $\sum \limits _{i=1}^{n}{p_{i}}=1$ $n$

Dette problem med at bestemme sandsynlighedsfordelingen i tilfælde, hvor der er ringe eller ingen information om en stokastisk variabel, er lige så gammel som sandsynlighedslæren selv. Laplaces princip om utilstrækkelig grund var et forsøg på at foreslå et sådant udvælgelseskriterium: Det er, at to begivenheder anses for lige sandsynlige, medmindre der er grund til at tro andet.

Det skal bemærkes [1] at sammenhængen mellem statistik og den aksiomatiske sandsynlighedsteori har 2 forskellige tilgange. Frekvens (frekventistiske) tilgang betragter sandsynlighed som en frekvensgrænse , sandsynlighed er noget, der beskriver egenskaberne ved uendeligt store ensembler af binære begivenheder. Den Bayesianske tilgang generaliserer den frekventistiske tilgang, idet den postulerer en ny betydning af sandsynlighed som en kvantitativ karakteristik af ethvert binært eksperiment. Dette giver de samme resultater i beskrivelsen af ensembler som den frekventistiske tilgang, men giver os mulighed for at give kvantitative estimater for binære eksperimenter, hvis udfald ikke er kendt på forhånd, og forbedre estimaterne, efterhånden som ny information om resultaterne bliver tilgængelig; Alt dette giver ingen mening i den frekventistiske forståelse.

Laplace mente for eksempel, at der overhovedet ikke er noget tilfældigt i verden, og hvis der er information om årsagerne til begivenheder, så kan konsekvenserne (selve begivenhederne) forudsiges med 100 % nøjagtighed ( Laplacian determinism ). Denne tilgang til sandsynlighed blev udviklet uafhængigt af fysikeren D. Gibbs (i Gibbs' statistiske mekanik ) og matematikeren K. Shannon (i udviklingen af informationsteori ). Begge modtog en værdi, der udtrykker et mål for usikkerhed om udfaldene af en begivenhed (eller, med andre ord, et mål for usikkerheden af en sandsynlighedsfordeling), som blev kaldt entropi og blev beregnet ved hjælp af lignende formler. Denne lighed blev yderligere gjort opmærksom på fysikeren E. T. Janes i to artikler i 1957 [1] [2] .

Strengt taget var Gibbs ikke en pioner i udviklingen af begrebet fysisk entropi. Selve begrebet entropi blev foreslået af fysikeren R. Clausius , og derefter blev det udviklet af fysikeren L. Boltzmann , og hver af dem fik sin egen entropifunktion. Clausius arbejdede med termodynamiske begreber, mens Boltzmann udviklede molekylær fysik og statistisk mekanik.

På samme måde baserede Shannon sit arbejde på resultaterne af G. Nyquist og R. Hartley , som lagde grundlaget for informationsteori.

Funktionalitet

Antag, at en begivenhed kan eller ikke kan forekomme i et tilfældigt eksperiment. Hvis hændelsen ikke fandt sted, antager vi, at den modsatte hændelse fandt sted . Således begivenhederne og udgør en komplet gruppe af begivenheder, hvilket betyder, at disse er uforenelige begivenheder, og deres sandsynligheder i summen er lig med én :. $EN$ $EN$ ${\overline {A}}$ $EN$ ${\overline {A}}$ $P(A)+P({\overline {A)))=1$

Hvis der overhovedet ikke vides noget om begivenheden , så er det ifølge den subjektive tilgang til sandsynlighed nødvendigt at acceptere, at begivenhederne og er lige sandsynlige: . $EN$ $EN$ ${\overline {A}}$ $P(A)=P({\overline {A)))=0,5$

Efterhånden som du får noget information, vil den ene sandsynlighed begynde at opveje den anden, og usikkerheden vil begynde at aftage. I sidste ende, når fuldstændig information er opnået, viser det sig, at , (eller omvendt: , ). Usikkerheden falder derefter til nul. $P(A)=1$ $P({\overline {A}})=0$ $P(A)=0$ $P({\overline {A}})=1$

Det ville være rart at komme med en funktion af disse sandsynligheder, som ville nå et maksimum med fuldstændig usikkerhed og forsvinde med fuldstændig sikkerhed. Og jo mere den ene sandsynlighed opvejer den anden, jo mere "asymmetri" mellem dem, jo mindre værdi tager denne funktion.

Vi kalder denne funktion (funktionel) fordelingens entropi eller fordelingens usikkerhed. Strengt taget er entropi kun et mål for usikkerhed, ikke usikkerhed i sig selv. Men alt her er det samme som i tilfælde af sandsynligheder: sandsynlighed er både muligheden for en begivenhed og målet for denne mulighed. I princippet er det korrekt at sige dit og dat.

Som en sådan funktion kan man for eksempel betragte produktet af sandsynligheder for hændelser og . Betegn og overvej funktionen . Da en omvendt parabel passerer gennem oprindelsen og punktet , når den sit maksimum ved . $EN$ ${\overline {A}}$ $P(A)=p$ $P({\overline {A)))=1-p$ $H(p)=p(1-p)$ $H(p)$ $(1;0)$ $p=0,5$

Yderligere, efterhånden som "asymmetrien" af sandsynligheder øges, falder den gradvist, indtil den endelig bliver nul ved eller ved . $H(p)$ $p=1$ $p=0$

Det skal bemærkes, at på grund af symmetri , fordi det er ligegyldigt, hvilken af de to begivenheder, der har en sandsynlighed , og hvilken der har en sandsynlighed . $H(p=0,4)=H(p=0,6)=0,24$ $0.4$ $0.6$

På den anden side (0,21<0,24), fordi sandsynligheden i dette andet tilfælde er mere "asymmetrisk" end i det første tilfælde. $H(p=0,3)<H(p=0,6)$

Bemærk, at funktionen , hvor er en eller anden koefficient, også klarer de "pligter", der er pålagt den: den når et maksimum ved og et minimum (nul) ved og . Det betyder, at den ønskede funktion kan bestemmes op til en vis koefficient. $H_{1}(p)=CH(p)=Cp(1-p)$ $C>0$ $p=0,5$ $p=1$ $p=0$

Lad nu hele gruppen af begivenheder dannes af tre begivenheder. Det er muligt i dette tilfælde at betragte produktet af deres sandsynligheder som entropi, og det kan endda bevises, at dette produkt når sit maksimum, når alle sandsynligheder er lig med hinanden: . $H_{1}(p,q)=pq(1-pq)$ $p=q=1-pq=1/3$

Her er der dog et problem. Den maksimale entropi for tre begivenheder er - hvilket er mindre end den maksimale entropi for to begivenheder, hvilket er . Og jeg kunne godt tænke mig, at det var omvendt: Jo flere begivenheder, jo større usikkerhed. ${\frac {1}{3}}{\frac {1}{3}}{\frac {1}{3}}={\frac {1}{27}}$ ${\frac {1}{2}}{\frac {1}{2}}={\frac {1}{4}}$

Et andet, mere alvorligt problem er, at hvis sandsynligheden for mindst én begivenhed er nul, så bliver hele produktet af sandsynligheder automatisk nul. Det vil sige, at usikkerheden forsvinder, bliver lig med nul ifølge en sådan funktionel, selvom den faktisk ikke er det. Usikkerhed bør forsvinde, når alle sandsynligheder undtagen én er lig med nul, og denne enkelte sandsynlighed er lig med én. Ikke desto mindre, for to resultater, kan en sådan funktion bruges ganske godt. Men for to udfald og ingen funktionaliteter er nødvendige: hvis forventningen til fordelingen af en eller anden tilfældig variabel er kendt , så giver forventningsligningen sammen med normaliseringsbetingelsen bare et system af to ligninger, hvorfra og er unikt fundet . Hvis der overhovedet ikke vides noget om fordelingen, så sidestilles sandsynligheden med hinanden, og det kan gøres uden nogen funktionaliteter. $x$ $p_{1}$ ${\displaystyle p_{2))$

Shannons entropi

Claude Shannon pålagde tre betingelser for den ønskede funktion [3] : $H(p_{1},...,p_{n})$

$H(p_{1},...,p_{n})$ skal være en kontinuerlig funktion af variablerne ; ${\displaystyle p_{i))$
hvis alle sandsynligheder er lige store, så er funktionen en monotont stigende funktion af . Med andre ord, ; ${\displaystyle p_{i))$ $A(n)=H({\frac {1}{n)),...,{\frac {1}{n)))\$ $n$ $H\underbrace {({\frac {1}{n)),...,{\frac {1}{n)))} _{n}<H\underbrace {({\frac {1 }{n+1}},...,{\frac {1}{n+1}})} _{n+1}$
akkordloven. I stedet for at angive sandsynligheden for hændelser direkte, kan du gruppere den første af dem som én hændelse med den tilsvarende sandsynlighed . Resten er som den anden begivenhed med sandsynlighed . Så skal funktionen adlyde betingelsen ; $k$ ${\displaystyle \omega _{1}=p_{1}+...+p_{k))$ ${\displaystyle \omega _{2}=p_{k+1}+...+p_{n))$ $H$ $H({p_{1}},...,{p_{n}})=H({\omega _{1}},{\omega _{2}})+{\omega _{ 1}}H\venstre({{\frac {p_{1}}{\omega _{1}}},...,{\frac {p_{k}}{\omega _{1}}}} \right)+{\omega _{2}}H\venstre({{\frac {p_{k+1}}{\omega _{2}}},...,{\frac {p_{n} }{\omega _{2}}}}\right)$

Sammensætningsloven kræver særlige overvejelser, da det er på dens grundlag, at funktionens form yderligere dannes . Ideen er som følger. $H$

Det tilfældige eksperiment er opdelt i to på hinanden følgende stadier. På det første trin vælges den første (før ) eller den anden (efter ) del af resultaterne med sandsynligheder og . På anden fase vælges selve resultatet fra den valgte del af resultaterne. I dette tilfælde er resultatet fra den valgte del allerede valgt med betingede sandsynligheder , det vil sige forudsat at denne del (i dette tilfælde den første del) er valgt. Shannon siger selv, at hvis valget falder i to faser, skal den indledende entropi være en vægtet sum af de enkelte entropier, altså de betingede entropier. ${\displaystyle \omega _{1))$ ${\displaystyle \omega _{2))$ $k$ $k$ ${\frac {p_{1}}{\omega _{1}}},...,{\frac {p_{k}}{\omega _{1}}}$

Den generelle betydning er, at hvis der foretages et tilfældigt valg på det første trin, så tager sandsynligheden og værdierne eller , og den yderligere usikkerhed er lig med kun en af de betingede entropier. ${\displaystyle \omega _{1))$ ${\displaystyle \omega _{2))$ $0$ $1$

Som et eksempel kan du overveje to grafer:

På den venstre graf er der tre udfald med sandsynligheder , , , der danner en komplet gruppe af hændelser (dvs. ). På den højre graf vælger vi først mellem to muligheder, hver med sandsynlighed . Hvis den anden mulighed vælges, så foretages et andet valg med sandsynligheder og . Entropierne på begge grafer skulle vise sig at være de samme, da man i sidste ende får de samme udfald med samme sandsynlighed. Ifølge kompositionsloven skriver vi . $p_{1}=1/2$ $p_{2}=1/3$ $p_{3}=1/6$ $p_{1}+p_{2}+p_{3}=1$ $1/2$ $2/3$ $1/3$ $H({\frac {1}{2)),{\frac {1}{3)),{\frac {1}{6)))=H({\frac {1}{2} },{\frac {1}{2)))+{\frac {1}{2}}H\venstre(1\højre)+{\frac {1}{2}}H\venstre(({\ frac {1}{3)),{\frac {2}{3}}}\right)=H({\frac {1}{2}},{\frac {1}{2}})+{ \frac {1}{2}}H\left({{\frac {1}{3}},{\frac {2}{3}}}\right)$

Her , da den komplette gruppe af begivenheder, der kun består af én begivenhed, der forekommer med hundrede procent sandsynlighed, genererer nul usikkerhed. Samtidig vises koefficienten ifølge Shannon selv, fordi det andet valg kun optræder halvdelen af alle gange. $H(1)=0$ $1/2$

I kompositionsloven kan det første trin ikke bestå af to muligheder, men af et større antal muligheder med tilsvarende sandsynligheder , , , ... ${\displaystyle \omega _{1))$ ${\displaystyle \omega _{2))$ ${\displaystyle \omega _{3))$

Sammensætningsloven er en slags generalisering af entropiens additive egenskab, selvom den ikke følger direkte af denne egenskab. Lad et eller andet eksperiment bestå af seks lige sandsynlige udfald. Lad disse resultater opdeles i tre lige store dele: på det første trin vælges en af de tre dele, på det andet trin vælges resultatet inden for den tilsvarende del. Så kan du skrive . $H({\frac {1}{6)),{\frac {1}{6)),{\frac {1}{6)),{\frac {1}{6)),{ \frac {1}{6)),{\frac {1}{6)))=H({\frac {1}{3)),{\frac {1}{3)),{\frac { 1}{3)))+{\frac {1}{3}}H\venstre({{\frac {1}{2}},{\frac {1}{2}}}\right)+{ \frac {1}{3}}H\left({{\frac {1}{2}},{\frac {1}{2}}}\right)+{\frac {1}{3}} H\venstre({{\frac {1}{2)),{\frac {1}{2))}\right)$

Den resulterende ligning kan omskrives således:

$A(6)=A(3)+{\frac {1}{3}}A\left(2\right)+{\frac {1}{3}}A\left(2\right) +{\frac {1}{3}}A\left(2\right)=A(3)+A\left(2\right)$ .

Det er klart, generelt . $A(mn)=A(m)+A\left(n\right)$

Men det samme resultat kan opnås ud fra andre overvejelser.

Antag, at der er et tilfældigt eksperiment med lige sandsynlige udfald og et andet tilfældigt eksperiment med lige sandsynlige udfald. Lad disse to tilfældige eksperimenter ikke have noget med hinanden at gøre. Men under alle omstændigheder kan de betragtes som ét kombineret eksperiment, hvor et separat resultat er, at det th udfald af det første eksperiment og det th udfald af det andet eksperiment fandt sted. I et sådant kombineret eksperiment er der allerede lige sandsynlige resultater. Da usikkerheden i de to eksperimenter ikke skulle ændre sig afhængigt af en sådan ændring i synspunkt, så . $m$ $n$ $jeg$ $j$ $mn$ $A(mn)=A(m)+A\left(n\right)$

Som en konsekvens af dette resultat , hvor er et ikke-negativt heltal. Hvis , så tager den sidste lighed formen , mens den forbliver en ægte lighed. $A(m^{s})=sA(m)$ $s$ $s=0$ $A(1)=0$

Sammensætningsloven giver os mulighed for at udtrykke entropien af en sandsynlighedsfordeling, hvor alle sandsynligheder er rationelle tal, som en vægtet sum af funktioner . Faktisk, lad der være en komplet gruppe af begivenheder af uforenelige begivenheder med sandsynligheder , , ..., , hvor , , er naturlige tal, . Så kan man skrive $EN$ $n$ $p_{1}=n_{1}/n$ $p_{2}=n_{2}/n$ $p_{n}=n_{n}/n$ ${\displaystyle n_{i))$ $n$ $n_{1}+...+n_{n}=n$

$A(n)=H({\frac {n_{1}}{n}},...,{\frac {n_{n}}{n}})+\sum \limits _{i =1}^{n}{{\frac {n_{i}}{n}}A({n_{i}})}$ .

Fra denne ligning er det allerede muligt at udtrykke . $H({\frac {n_{1}}{n}},...,{\frac {n_{n}}{n}})$

Faktisk vides det ikke præcist, hvor Shannon har sin kompositionslov fra. Måske ville han bare have, at hans entropi skulle vise sig at ligne Hartleys, og han kom med en sådan betingelse (sammensætningslov), hvorfra Shannons entropi ville blive opnået på en unik måde.

Sætning:

den eneste funktion , der opfylder de tre Shannon-betingelser, der er pålagt den, har formen , hvor er enhver positiv konstant, og logaritmen tages i en hvilken som helst base større end én. $H$ $H=-K\sum \limits _{i=1}^{n}{{p_{i}}\log {p_{i}}}$ $K$

Bevis .

Beviset reducerer til at finde ud af funktionens form . $A$

For enhver naturlig og enhver vilkårlig stor naturlig kan man finde et så naturligt og ikke-negativt heltal , at (dette er indlysende). Ved at forstærke begge sider af uligheden og dividere med , får vi , hvorfra . Da bunden af den naturlige logaritme er større end én, ændres tegnet på ulighederne ikke. $t$ $n$ $m>1$ $s$ ${m^{s}}\leq {t^{n}}\leq {m^{s+1}}$ $n\ln m$ ${\frac {s}{n}}\leq {\frac {\ln t}{\ln m}}\leq {\frac {s+1}{n}}$ $\left|{{\frac {s}{n}}-{{\log }_{m}}t}\right|\leq {\frac {1}{n}}$

På den anden side, baseret på monotoniteten af , kan vi skrive , , hvorfra tilsvarende , . Så kan du skrive . Passerer til grænsen med hensyn til , opnår vi . Derfor , hvor er en vilkårlig positiv konstant, er en vilkårlig naturlig base af logaritmen (større end én). Konstantens vilkårlighed hænger ikke kun sammen med, at den er reduceret i tæller og nævner, men også med, at logaritmens basis er valgt vilkårligt. Du kan gå til den naturlige logaritme og få . Dette antyder, at logaritmens basis ikke behøver at være et naturligt tal. Yderligere, ved at bruge repræsentationen af funktionen i form af funktionen , kan vi skrive, da ethvert reelt tal kan tilnærmes med en hvilken som helst grad af nøjagtighed med et rationelt tal, og funktionen i sig selv er kontinuerlig (det vil sige, at den ændrer sig ubetydeligt med et lille ændring i argumentet), foreslog Shannon at bruge denne formel for sandsynligheder givet ved reelle tal. $A(n)$ ${\displaystyle A({m^{s)))\leq A({t^{n)))\leq A({m^{s+1))))))$ ${\displaystyle sA({m})\leq nA({t})\leq (s+1)A({m)))$ ${\frac {s}{n}}\leq {\frac {A(t)}{A(m)))\leq {\frac {s+1}{n}}$ $\left|{{\frac {s}{n}}-{\frac {A(t)}{A(m)))}\right|\leq {\frac {1}{n}}$ $\left|{{\frac {A(t)}{A(m)}}-{{\log }_{m}}t}\right|\leq {\frac {2}{n} }$ $n$ $n\to \infty$ ${\frac {A(t)}{A(m)}}={\log _{m}}t$ $A(t)=K{\log _{m}}t$ $K$ $m$ $K$ $A(t)=K{\log _{m}}t=K{\frac {\ln t}{\ln m}}=K'\ln t$ $H$ $A$ $H({\frac {n_{1}}{n}},...,{\frac {n_{n}}{n}})=A(n)-\sum \limits _{i =1}^{n}{{\frac {n_{i}}{n}}A({n_{i}})}=K\log n-\sum \limits _{i=1}^{n }{{\frac {n_{i}}{n}}K\log {n_{i}}}=-\sum \limits _{i=1}^{n}{{\frac {n_{i} }{n}}K\log {\frac {n_{i}}{n}}}=-K\sum \limits _{i=1}^{n}{{p_{i}}\log {p_ {jeg}}}$ $H$

Sætningen er blevet bevist .

Hvis sandsynligheden er nul, er det nødvendigt at betragte produktets grænse som en tendens til nul: $p$ $p\log p$ $p$

$\lim _{p\to 0+}p\ln p=\lim _{p\to 0+}{\frac {\ln p}{\frac {1}{p))}=\lim _{p\to 0+}{\frac {\left({\ln p}\right)'}{\left({\frac {1}{p}}\right)'}}=\lim _{ p\to 0+}{\frac {1/p}{-1/{p^{2))))=-\lim _{p\to 0+}p=0$

Shannons maksimale entropi og Lagrange-multiplikatormetoden

Det kan bevises [4] at Shannon-entropien får en maksimal værdi på en ensartet fordeling. For at bevise dette finder vi det betingede maksimum af Shannon-entropien under normaliseringsbetingelsen . $H({p_{1}},...,{p_{n}})=-\sum \limits _{i=1}^{n}{{p_{i}}\ln {p_ {jeg}}}$ $\sum \limits _{i=1}^{n}{p_{i}}=1$

For at gøre dette bruger vi Lagrange-multiplikatormetoden til at finde betingede ekstrema. Denne metode er kort fortalt som følger.

Lad os antage, at det er nødvendigt at finde et lokalt ekstremum af en kontinuert funktion af variable med partielle afledte med hensyn til alle variabler, forudsat at ,..., , hvor ,... er kontinuerte funktioner med partielle afledte med hensyn til alle variable, . Så er Lagrange-funktionen sammensat af formen , hvor tallene kaldes Lagrange-multiplikatorer. $f(x_{1},...,x_{n})$ $n$ $\varphi _{1}(x_{1},...,x_{n})=0$ $\varphi _{k}(x_{1},...,x_{n})=0$ $\varphi _{1}$ $\varphi _{k}$ $k<n$ $L({x_{1}},...,{x_{n}})=f({x_{1}},...,{x_{n}})+\sum \limits _ {i=1}^{k}{{\lambda _{i}}{\varphi _{i}}({x_{1}},...,{x_{n))))}$ ${\displaystyle \lambda _{i))$

En nødvendig betingelse for eksistensen af et betinget ekstremum på et tidspunkt er lighed til nul eller ikke-eksistensen af alle partielle afledte af dets Lagrange-funktion på dette tidspunkt. Derfor kompileres og løses et system ud fra de partielle afledte af Lagrange-funktionen, lig med nul, samt ud fra de betingelser, der er pålagt ekstremum. Løsningen af systemet (hvis det eksisterer) er koordinaten for ekstremumet, såvel som værdierne af Lagrange-multiplikatorerne. $f$ $n$ $k$

I tilfælde af Shannon-entropien har Lagrange-funktionen formen: . $L({p_{1}},...,{p_{n}})=H({p_{1}},...,{p_{n}})+\lambda \left( {\sum \limits _{i=1}^{n}{p_{i}}-1}\right)$

Lad os nedskrive ligningssystemet med den nødvendige betingelse for eksistensen af et ekstremum:

$\left\{{\begin{array}{l}{\frac {\partial L({p_{1)),...,{p_{n)))}{\partial {p_{1 }}}}=0\\...\\{\frac {\partial L({p_{1}},...,{p_{n}})}{\partial {p_{n}}} }=0\\\sum \limits _{i=1}^{n}{p_{i}}=1\end{array}}\right.$ Løser vi det, får vi: $\left\{{\begin{array}{l}-(\ln {p_{1}}+1)+\lambda =0\\...\\-(\ln {p_{n} }+1)+\lambda =0\end{array}}\right.$

Da alle ligninger er ens, så , . ${p_{1}}={p_{2}}=...={p_{n}}=1/n$ $\lambda =1+\ln {\frac {1}{n))$

Så det punkt, hvor et ekstremum kan eksistere, er det eneste. I betragtning af, at funktionen er kontinuert og ikke-negativ bestemt, idet den tager minimumsværdien nul (i det tilfælde, hvor en af sandsynligheden er lig med en, og alle de andre er lig med nul), så er det fundne ekstremum punktet for globalt betinget maksimum, og selve maksimumet er lig med . $H$ $H({\frac {1}{n}},...,{\frac {1}{n}})=-\sum \limits _{i=1}^{n}{{\ frac {1}{n}}\ln {\frac {1}{n}}}=\ln n$

Det kan også bevises, at i sættet af sandsynligheder for inkompatible elementære udfald, øger enhver ændring i de to sandsynligheder hen imod deres tilpasning (uden at ændre antallet af udfald selv) entropien af fordelingen. ${\displaystyle p_{1},...,p_{n))$ $n$

Det er nemt at bevise det. Da kun to sandsynligheder ændres, for eksempel, og , forbliver de andre sandsynligheder uændrede. Derfor vil de vilkår, der er inkluderet i entropiformlen, forbundet med andre sandsynligheder, forblive uændrede og vil ikke påvirke tilvæksten af entropi. Samtidig forbliver beløbet også uændret (af samme grund). Derfor er det tilstrækkeligt kun at udføre beviset for to uforenelige udfald, der udgør en komplet gruppe af begivenheder - så kan påstanden anses for bevist for et vilkårligt antal udfald. $p_{1}$ ${\displaystyle p_{2))$ $p_{1}+p_{2}$ $n$

Betegn og overvej funktionen . $p_{1}=p$ $p_{2}=1-p$ $H(p,1-p)=-p\ln p-(1-p)\ln(1-p)$

Dens kontra plot er meget lig en omvendt parabel, der passerer gennem oprindelsen. Maksimum nås på punktet . Derudover er denne funktion spejlsymmetrisk i forhold til linjen . Dette følger af, at . Derfor er det ud fra grafen indlysende, at enhver ændring i sandsynligheden for udligning fører til en stigning i entropien. $p$ $p=1-p=0,5$ $p=0,5$ $H(p,1-p)=H(1-p,p)$

Entropi af en kontinuerlig fordeling

Shannon skrev oprindeligt ned [3] følgende formel for entropien af en kontinuerlig fordeling, som også er kendt som differentiel entropi :

${\displaystyle H(X)=-\int \limits _{-\infty }^{\infty }{f(x)\log f(x)dx))$ .

Her er den ukendte sandsynlighedstæthedsfordelingsfunktion for den stokastiske variabel . (Hvis , så erstattes integranden af dens grænse på dette tidspunkt .) Men i modsætning til Shannons formel for entropien af en diskret fordeling, er denne formel ikke resultatet af nogen afledning (Shannon erstattede simpelthen summens fortegnet med tegnet af integralet). Og strengt taget kan den ikke udledes ved en successiv overgang fra en diskret til en kontinuert entropiformel ved at beregne grænsen for integrale partialsummer af Riemann-integralet [5] (en uendelig værdi vil blive opnået). Ikke desto mindre har differentiel entropi betydningen af den gennemsnitlige usikkerhed i valget af en stokastisk variabel med en vilkårlig fordelingslov, minus usikkerheden af en stokastisk variabel ensartet fordelt i et enhedsinterval. $f(x)$ $X$ $f(x)=0$ $x$

Ud over differentiel entropi er engelsk også kendt. Kullback–Leibler divergens og engelsk. Principle_of_maximum_entropy#Continuous_case . Men yderligere, for at forklare princippet om maksimal entropi, vil det blive brugt netop den differentielle entropi.

Maksimal differentialentropi og variationskalkylen

Det kan bevises, at differentialentropien får en maksimal værdi ved en ensartet fordeling. For at bevise dette finder vi det betingede maksimum af differentialentropien forudsat at . ${\displaystyle H(X)=-\int \limits _{-\infty }^{\infty }{f(x)\ln f(x)dx))$ $\int \limits _{-\infty }^{\infty }{f(x)dx}=1$

Under disse forhold er det nødvendigt at finde en sådan funktion , at differentialentropi-integralet tager den maksimale værdi. Det er klart, at i dette tilfælde bliver selve funktionens form en slags variabel, så det er nødvendigt at bruge variationskalkylen [3] , hvis hovedopgave er at finde en funktion, hvorpå den givne funktional når ekstrem. værdier. $f(x)$ $f(x)$

Variationsmetoden minder om Lagrange-metoden og er kort fortalt som følger. Lad en funktional være givet med en integrand med kontinuerte første partielle afledede, kaldet Lagrange-funktionen. Hvis denne funktional når et ekstremum på en eller anden funktion , skal en partiel differentialligning være opfyldt for den , kaldet Euler-Lagrange-ligningen . Med andre ord er denne ligning en nødvendig betingelse for eksistensen af et ekstremum af det funktionelle på funktionen . Hvis en yderligere betingelse for formen pålægges funktionen , så kaldes det ønskede ekstremum betinget, og Lagrange-funktionen tager formen , og differentialligningen skal løses allerede for denne nye funktion. Den fundne funktion afhænger ikke kun af , men også af parameteren . Så skal du erstatte betingelserne i integralet og finde . ${\displaystyle J=\int \limits _{a}^{b}{F(x,f(x),f'(x))dx))$ $F(x,f(x),f'(x))$ $f(x)$ ${\displaystyle {\frac {\partial F}{\partial f))={\frac {d}{dx)){\frac {\partial F}{\partial {f'))))$ $J$ $f(x)$ $f(x)$ $\int \limits _{a}^{b}{\varphi (f(x))dx}=c$ $L=F+\lambda \varphi$ $f(x)$ $x$ $\lambda$ $f(x)$ $\lambda$

I tilfælde af differentiel entropi tager Lagrange-funktionen formen . Så , hvorfra Euler-Lagrange ligningen tager formen . $L=-f(x)\ln f(x)+\lambda f(x)$ $\left\{{\begin{array}{l}{\frac {\partial L}{\partial f))=-\ln f-1+\lambda \\{\frac {\partial L} {\partial f'}}=0\\{\frac {d}{dx}}{\frac {\partial L}{\partial f'}}=0\end{array}}\right.$ ${\frac {\partial L}{\partial f))=-\ln f-1+\lambda =0$

Løsningen til denne ligning er en funktion , det vil sige en konstant på . Vi erstatter det i tilstanden og får . $f(x)={e^{\lambda -1))$ $x$ $\int \limits _{-\infty }^{\infty }{{e^{\lambda -1}}dx}=1$

Det er klart, at en sådan ligning ikke har nogen løsninger, ligesom det er klart, at en stokastisk variabel ikke kan fordeles ensartet over hele området af reelle tal. Lad alle mulige værdier ligge på et eller andet interval . Så hvorfra . _ For alle andre er det sandt . $X$ $[a;b]$ $\int \limits _{a}^{b}{{e^{\lambda -1}}dx}=1$ $\lambda =1-\ln(ba)$ $f(x)={e^{\lambda -1}}={\frac {1}{ba}}$ $x$ $f(x)=0$

Ekstreme distributioner

I sig selv giver det fundne funktionelle (Shannons entropi i diskret eller differentiel form) endnu ikke noget. Da intet er kendt om udfaldet af et tilfældigt eksperiment, dikterer princippet om maksimal entropi, at alle udfald gives lige sandsynlighed. Hvis vi taler om en kontinuert stokastisk variabel, så antages det, at den er fordelt ensartet. Men for at udføre en sådan aftale kræves ingen funktionalitet. Den funktionelle tillader kun en kvantitativ sammenligning af usikkerheden ved forskellige fordelinger.

Betydningen af princippet om maksimal entropi begynder at dukke op, når der pålægges begrænsninger på sandsynlighedsfordelingen. Princippet om maksimal entropi i dette tilfælde er at finde den maksimale entropi under de pålagte restriktioner. Den således opnåede fordeling kaldes ekstremal.

Lad os finde entropi-maksimum i tilfælde, hvor nogle begrænsninger er pålagt fordelingen af en tilfældig variabel, for eksempel er nogle af dens momenter kendt. Når man bruger metoden med Lagrange multiplikatorer og metoden til beregning af variationer, vil det blive vist, at:

hvis den forventede værdi eller det andet begyndelsesmoment eller begge dele af en diskret stokastisk variabel er kendt, så er dens ekstreme fordeling en af varianterne af den diskrete Gibbs-fordeling
hvis forventningen til en kontinuert stokastisk variabel er kendt, så er dens ekstreme fordeling en kontinuert Gibbs-fordeling
hvis den forventede værdi og varians af en kontinuert stokastisk variabel er kendt, så er dens ekstreme fordeling en normalfordeling med disse parametre. Hvis den forventede værdi ikke er kendt, sættes den til nul.

Der vides intet om den tilfældige variabel (diskrete og kontinuerte tilfælde)

I dette tilfælde foreskriver princippet om maksimal entropi, at den stokastiske variabel er fordelt ensartet. Det er allerede blevet vist tidligere, at Shannon-entropien i enhver (diskret eller kontinuerlig) form antager den størst mulige værdi på en sådan fordeling.

Kun matematisk forventning er kendt (diskret kasus)

Antag, at kun den matematiske forventning til den diskrete sandsynlighedsfordeling af en eller anden tilfældig variabel : er kendt . Hvad er fordelingen i dette tilfælde? Distributionen er underlagt yderligere begrænsninger: $X$ $M[X]=\sum \limits _{i=1}^{n}{{x_{i}}{p_{i}}}=m$

$\forall i:0\leq {p_{i}}\leq 1$
$\sum \limits _{i=1}^{n}{p_{i}}=1$

Ifølge princippet om maksimal entropi er det nødvendigt at maksimere funktionen under disse forhold $H({p_{1}},...,{p_{n}})=-\sum \limits _{i=1}^{n}{{p_{i}}\ln {p_ {jeg}}}$

Vi sammensætter Lagrange-funktionen og finder punkterne for et muligt ekstremum:

$L({p_{1}},...,{p_{n}})=H({p_{1}},...,{p_{n}})+{\lambda _{ 1}}\left({\sum \limits _{i=1}^{n}{p_{i}}-1}\right)+{\lambda _{2}}\left({\sum \limits _{i=1}^{n}{{x_{i}}{p_{i}}}-m}\right)$

Systemet med partielle derivater og pålagte betingelser har formen:

$\left\{{\begin{array}{l}{\frac {\partial L({p_{1)),...,{p_{n)))}{\partial {p_{1 }}}}=-(\ln {p_{1}}+1)+{\lambda _{1}}+{\lambda _{2}}{x_{1}}=0\\...\ \{\frac {\partial L({p_{1}},...,{p_{n)))}{\partial {p_{n}}}}=-(\ln {p_{n}} +1)+{\lambda _{1}}+{\lambda _{2}}{x_{n}}=0\\m=\sum \limits _{i=1}^{n}{{x_ {i}}{p_{i}}}\\\sum \limits _{i=1}^{n}{p_{i}}=1\end{array}}\right.$

Hvis vi trækker -e fra den første ligning , får vi . $i$ ${p_{i}}={p_{1}}{e^{{\lambda _{2}}({x_{i}}-{x_{1}})))}}$

Ved at kombinere den resulterende ligning til et system med normaliseringsbetingelsen og løse den, får vi:

$\left\{{\begin{array}{l}{p_{i}}={p_{1}}{e^{{\lambda _{2}}({x_{i}}-{ x_{1}})}}\\1=\sum \limits _{k=1}^{n}{p_{k}}=\sum \limits _{k=1}^{n}{{p_ {1}}{e^{{\lambda _{2}}({x_{k}}-{x_{1}})}}}={p_{1}}{e^{-{\lambda _ {2}}{x_{1}}}}\sum \limits _{k=1}^{n}{e^{{\lambda _{2}}{x_{k}}}}\end{array }}\ret.$ , hvorfra . ${p_{i}}={\frac {e^{{\lambda _{2}}{x_{i}}}}{\sum \limits _{k=1}^{n}{e ^{{\lambda _{2}}{x_{k}}}}}}$

Nu følger det af ligningen . $i$ ${p_{i}}={e^{{\lambda _{2}}{x_{i}}+{\lambda _{1}}-1}}={e^{{\lambda _ {1}}-1}}{e^{{\lambda _{2}}{x_{i}}}}$ $\sum \limits _{k=1}^{n}{e^({\lambda _{2}}{x_{k}}}}={e^{1-{\lambda _{1 }}}}}$

Endelig kan vi ud fra ligningen for forventningen skrive , hvorfra følger . $m=\sum \limits _{i=1}^{n}{{x_{i}}{p_{i}}}=\sum \limits _{i=1}^{n}{\ venstre({{x_{i}}{\frac {e^{{\lambda _{2}}{x_{i}}}}{\sum \limits _{k=1}^{n}{e^ {{\lambda _{2}}{x_{k}}}}}}}\right)}={\frac {\sum \limits _{k=1}^{n}{{x_{k}} {e^{{\lambda _{2}}{x_{k}}}}}}{\sum \limits _{k=1}^{n}{e^{{\lambda _{2}}{ x_{k}}}}}}$ $\sum \limits _{k=1}^{n}{({x_{k}}-m){e^{{\lambda _{2}}{x_{k}}}}}= 0$

Endelig kan det oprindelige system repræsenteres som:

$\left\{{\begin{array}{l}{p_{i}}={\frac {e^({\lambda _{2}}{x_{i}}}}{\sum \ grænser _{k=1}^{n}{e^{{\lambda _{2}}{x_{k}}}}}},i\in \{1,...,n\}\\ \sum \limits _{k=1}^{n}{({x_{k}}-m){e^{{\lambda _{2}}{x_{k}}}}}=0\\ {e^{1-{\lambda _{1}}}}=\sum \limits _{k=1}^{n}{e^{{\lambda _{2}}{x_{k}}} }\end{array}}\right.$

Det er ret nemt at bevise, at løsningen til systemets anden ligning altid eksisterer og er unik, selvom den ikke altid kan repræsenteres som en eksplicit funktion af argumentet . Hvis det ønskes (men ikke nødvendigvis), kan det udtrykkes fra den tredje ligning i form af . Men vigtigst af alt, når du substituerer i den første ligning, får du en diskret sandsynlighedsfordeling med forventning . $\lambda _{2}$ $m$ $\lambda _{1}$ $\lambda _{2}$ $\lambda _{2}$ $m$

Da den fundne løsning er unik, er det fundne punkt højst sandsynligt entropiekstremumet, og dette ekstremum er det globale betingede maksimum.

Den fundne sandsynlighedsfordeling kaldes engelsk. Boltzmann_distribution , som også er kendt som Gibbs distribution . ${\displaystyle p_{i))$

Kun det andet indledende øjeblik er kendt (diskret tilfælde)

Antag, at kun det andet begyndelsesmoment af den diskrete sandsynlighedsfordeling af en tilfældig variabel er kendt :. Hvad er fordelingen i dette tilfælde? ${\delta ^{2))$ $X$ ${\delta ^{2}}=\sum \limits _{i=1}^{n}{{x_{i}}^{2}{p_{i}}}$

Det er klart, at denne sag ikke adskiller sig fra den foregående, bortset fra at værdierne skal erstattes af værdierne , skal erstattes af . Den endelige fordeling vil se ud $x_{i}$ ${\displaystyle x_{i}^{2))$ $m$ ${\delta ^{2))$ $\left\{{\begin{array}{l}P(X={x_{i}})={p_{i}}={\frac {e^{{\lambda _{2}} {x_{i}}^{2}}}{\sum \limits _{k=1}^{n}{e^{{\lambda _{2}}{x_{k}}^{2}} ))),i\i \{1,...,n\}\\\sum \limits _{k=1}^{n}{({x_{k}}^{2}-{\delta ^{2))){e^{{\lambda _{2}}{x_{k}}^{2}}}}=0\\{e^{1-{\lambda _{1}}} }=\sum \limits _{k=1}^{n}{e^{{\lambda _{2}}{x_{k}}^{2}}}\end{array}}\right.$

Det er let at se i dette tilfælde, at hvis , så . ${\displaystyle x_{i}=-x_{j))$ $P(X=x_{i})=P(X=x_{j})$

Forventningen og det andet indledende øjeblik er kendt (diskret tilfælde)

Lagrange-funktionen har i dette tilfælde formen $L({p_{1}},...,{p_{n}})=H({p_{1}},...,{p_{n}})+{\lambda _{ 1}}\left({\sum \limits _{i=1}^{n}{p_{i}}-1}\right)+{\lambda _{2}}\left({\sum \limits _{i=1}^{n}{{x_{i}}{p_{i}}}-m}\right)+{\lambda _{3}}\venstre({\sum \limits _{i =1}^{n}{{x_{i}}^{2}{p_{i}}}-{\delta ^{2}}}\right)$

Ligningssystemet, som er en nødvendig betingelse for eksistensen af et ekstremum, har formen:

$\left\{{\begin{array}{l}-(\ln {p_{1}}+1)+{\lambda _{1}}+{\lambda _{2}}{x_{ 1}}+{\lambda _{3}}{x_{1}}^{2}=0\\...\\-(\ln {p_{n}}+1)+{\lambda _{ 1}}+{\lambda _{2}}{x_{n}}+{\lambda _{3}}{x_{n}}^{2}=0\\1=\sum \limits _{i =1}^{n}{p_{i}}\\m=\sum \limits _{i=1}^{n}{{x_{i}}{p_{i}}}\\{\delta ^{2}}=\sum \limits _{i=1}^{n}{{x_{i}}^{2}{p_{i}}}\end{array}}\right.$ . Det kan bringes i tankerne $\left\{{\begin{array}{l}{p_{i}}={\frac {e^{{x_{i}}({\lambda _{3}}{x_{i} }+{\lambda _{2))))}}{\sum \limits _{k=1}^{n}{e^{{x_{k}}({\lambda _{3}}{x_ { k}}+{\lambda _{2}})))}}}}\\\sum \limits _{k=1}^{n}{({x_{k}}-m){e^ {{x_ {k}}({\lambda _{3}}{x_{k}}+{\lambda _{2}})}}}=0\\\sum \limits _{k=1}^ {n} {({x_{k}}^{2}-{\delta ^{2}}){e^{{x_{k}}({\lambda _{3}}{x_{k}} +{\ lambda _{2}})}}}=0\\{e^{1-{\lambda _{1}}}}=\sum \limits _{k=1}^{n}{e ^{{ x_{k}}({\lambda _{3}}{x_{k}}+{\lambda _{2}})))\end{array}}\right.$

Problemet med at bevise eksistensen og unikheden af en løsning i dette tilfælde er meget vanskeligere. Desuden problemet med at finde parametrene og fra den anden og tredje ligning af systemet. Men hvis beviset er muligt, vil ekstremfordelingen med givne parametre kun have den fundne form. $\lambda _{1}$ $\lambda _{2}$

Kun forventet værdi er kendt (kontinuerlig store og små bogstaver)

Antag, at vi kun kender forventningen til en kontinuert sandsynlighedsfordeling af en eller anden stokastisk variabel : . Hvad er sandsynlighedstæthedsfordelingsfunktionen i dette tilfælde? $X$ $M[X]=\int \limits _{-\infty }^{\infty }{xf(x)dx}=m$ $f(x)$

Distributionen er underlagt yderligere begrænsninger:

$\forall x:f(x)\geq 0$
$\int \limits _{-\infty }^{\infty }{f(x)dx}=1$

Ifølge princippet om maksimal entropi er det nødvendigt at maksimere funktionen under disse forhold ${\displaystyle H(X)=-\int \limits _{-\infty }^{\infty }{f(x)\ln f(x)dx))$

Vi sammensætter Lagrange-funktionen og finder , for hvilket et ekstremum er muligt : $f(x)$ $H$ $L=-f(x)\ln f(x)+{\lambda _{1}}f(x)+{\lambda _{2}}xf(x)$

Euler-Lagrange-ligningen har i dette tilfælde formen . ${\frac {\partial L}{\partial f))=-\ln f-1+{\lambda _{1))+{\lambda _{2))x=0$

Dens løsning er funktionen , det vil sige eksponenten. $f(x)={e^{{\lambda _{2}}x+{\lambda _{1}}-1}}$

Det er klart, at arealet under grafen for en sådan funktion kun kan være begrænset, hvis ikke mere end én integrationsgrænse har en tendens til uendelig. Derfor vil vi antage, at en tilfældig variabel kun kan tage værdier på et endeligt eller semi-uendeligt domæne , ikke nødvendigvis blot forbundet. På alle andre punkter vil funktionen blive betragtet som lig med nul. $X$ $G$ $f(x)$

For at finde værdierne af koefficienterne og , er det nødvendigt at sammensætte et ligningssystem ud fra de betingelser, der er pålagt fordelingen, og løse det. Systemet ser sådan ud: $\lambda _{1}$ $\lambda _{2}$

$\left\{{\begin{array}{l}\int \limits _{-\infty }^{\infty }{xf(x)dx}=\int \limits _{G}{x{ e^{{\lambda _{2}}x+{\lambda _{1}}-1}}dx}=m\\\int \limits _{-\infty }^{\infty }{f(x) dx}=\int \limits _{G}{{e^{{\lambda _{2}}x+{\lambda _{1}}-1}}dx}=1\end{array}}\right.$ og kan bringes i tankerne . $\left\{{\begin{array}{l}m={\frac {\int \limits _{G}{x{e^({\lambda _{2}}x}}dx}} {\int \limits _{G}{{e^{{\lambda _{2}}x}}dx}}}\\{e^{1-{\lambda _{1}}}}=\int \limits _{G}{{e^{{\lambda _{2}}x}}dx}\end{array}}\right.$

Her er alle integralerne "taget", så det kan udtrykkes entydigt mht . - det er kun nødvendigt at specificere arealet mere specifikt . I dette tilfælde er den fundne løsning unik. $\lambda _{2}$ $m$ $G$

Da koefficienten er unikt udtrykt gennem , så er den unik. På grund af det unikke ved den fundne løsning, maksimerer funktionen det funktionelle . Funktionen har så formen . $\lambda _{1}$ $\lambda _{2}$ $f(x)$ $H$ $f(x)$ $f(x)={\frac {e^{{\lambda _{2}}x}}{\int \limits _{G}{{e^{{\lambda _{2}}t} }dt}}}$

Den fundne fordeling kaldes Boltzmann (eller Gibbs) fordeling af en kontinuert stokastisk variabel.

Kun det andet indledende øjeblik kendes (kontinuerligt store og små bogstaver)

Antag, at kun det andet indledende moment af sandsynlighedsfordelingen af en kontinuert stokastisk variabel er kendt : . Hvad er fordelingen i dette tilfælde? ${\delta ^{2))$ $X$ ${\delta ^{2}}=\int \limits _{-\infty }^{\infty }{{x^{2}}f(x)dx}$

Lagrange-funktionen har i dette tilfælde formen . $L=-f(x)\ln f(x)+{\lambda _{1}}f(x)+{\lambda _{2}}{x^{2}}f(x)$

Euler-Lagrange-ligningen har formen . ${\frac {\partial L}{\partial f))=-\ln f-1+{\lambda _{1))+{\lambda _{2)){x^{2))= 0$

Dens løsning er funktionen . $f(x)={e^{{\lambda _{2}}{x^{2}}+{\lambda _{1}}-1}}$

Det er klart, at arealet under grafen kun kan være begrænset i tilfælde af . Hvis , så opnås en ensartet fordeling, som allerede er blevet overvejet tidligere. $f(x)$ $\lambda _{2}<0$ $\lambda _{2}=0$

For at finde værdierne af koefficienterne og , skal du sammensætte et ligningssystem ud fra betingelserne pålagt fordelingen og løse det: $\lambda _{1}$ $\lambda _{2}$

$\left\{{\begin{array}{l}{\delta ^{2}}=\int \limits _{-\infty }^{\infty }{{x^{2}}f( x)dx}=\int \limits _{-\infty }^{\infty }{{x^{2}}{e^{{\lambda _{2}}{x^{2}}+{\ lambda _{1}}-1}}dx}\\1=\int \limits _{-\infty }^{\infty }{f(x)dx}=\int \limits _{-\infty }^ {\infty }{{e^{{\lambda _{2}}{x^{2}}+{\lambda _{1}}-1}}dx}\end{array}}\right.$

Da der er et bestemt Euler-Poisson integral her , kan systemet skrives som:

$\left\{{\begin{array}{l}{\delta ^{2}}={\frac {\int \limits _{-\infty }^{\infty }{{x^{2 }}{e^{{\lambda _{2}}{x^{2}}}}dx}}{\int \limits _{-\infty }^{\infty }{{e^{{\lambda _{2}}{x^{2}}}}dx}}}\\\int \limits _{-\infty }^{\infty }{{x^{2}}{e^{{\lambda _{2}}{x^{2}}}}dx}=-{\frac {1}{2{\lambda _{2}}}}\int \limits _{-\infty }^{\infty }{{e^{{\lambda _{2}}{x^{2}}}}dx}\\{e^{1-{\lambda _{1}}}}=\int \limits _{ -\infty }^{\infty }{{e^{{\lambda _{2}}{x^{2}}}}dx}={\sqrt {-{\frac {\pi }{\lambda _ {2}}}}}\end{array}}\right.$ , hvorfra endelig $\left\{{\begin{array}{l}f(x)={e^{{\lambda _{1}}-1}}{e^{{\lambda _{2}}{ x^{2))))={\frac {1}{\delta {\sqrt {2\pi )))){e^{-{\frac {1}{2)){{\left({ \frac {x}{\delta }}\right)}^{2))))\\{\delta ^{2}}=-{\frac {1}{2{\lambda _{2}}} }\\{e^{1-{\lambda _{1))))={\sqrt {-{\frac {\pi}{\lambda _{2))))}\end{array))\ ret.$

Så fordelingen er en normalfordeling med nul middelværdi og varians . $X$ ${\delta ^{2))$

Forventningen og det andet indledende øjeblik er kendt (kontinuerlig kasus)

Lagrange-funktionen har i dette tilfælde formen . $L=-f(x)\ln f(x)+{\lambda _{1}}f(x)+{\lambda _{2}}xf(x)+{\lambda _{3} }{x^{2}}f(x)$

Euler-Lagrange-ligningen har formen . ${\frac {\partial L}{\partial f))=-\ln f-1+{\lambda _{1))+{\lambda _{2))x+{\lambda _{3} }{x^{2}}=0$

Dens løsning er funktionen . $f(x)={e^{{\lambda _{3}}{x^{2}}+{\lambda _{2}}x+{\lambda _{1}}-1}}$

Lad os tage det igen . $\lambda _{3}<0$

For at finde værdierne af koefficienterne , , , er det nødvendigt at sammensætte et ligningssystem ud fra betingelserne pålagt fordelingen og løse det: $\lambda _{1}$ $\lambda _{2}$ $\lambda _{3}$

$\left\{{\begin{array}{l}{\delta ^{2}}=\int \limits _{-\infty }^{\infty }{{x^{2}}f( x)dx}=\int \limits _{-\infty }^{\infty }{{x^{2}}{e^{{\lambda _{3}}{x^{2}}+{\ lambda _{2}}x+{\lambda _{1}}-1}}dx}\\m=\int \limits _{-\infty }^{\infty }{xf(x)dx}=\int \limits _{-\infty }^{\infty }{x{e^({\lambda _{3}}{x^{2}}+{\lambda _{2}}x+{\lambda _{1 }}-1}}dx}\\1=\int \limits _{-\infty }^{\infty }{f(x)dx}=\int \limits _{-\infty }^{\infty } {{e^{{\lambda _{3}}{x^{2}}+{\lambda _{2}}x+{\lambda _{1}}-1}}dx}\end{array}} \ret.$

Graden af et tal i integraler kan repræsenteres som: , hvor , . $e$ ${\lambda _{3}}{x^{2}}+{\lambda _{2}}x=-{\frac {1}{2}}{\frac {{{\left({ x-{\frac {\lambda _{2}}{-2{\lambda _{3}}}}}\right)}^{2}}-{{\left({\frac {\lambda _{ 2}}{-2{\lambda _{3}}}}\right)}^{2}}}{1/(-2{\lambda _{3}})))=-{\frac {1 }{2}}{\frac {{{\left({xm'}\right)}^{2}}-m{'^{2}}}{D}}$ $m'={\frac {\lambda _{2}}{-2{\lambda _{3}}}}$ $D=-{\frac {1}{2{\lambda _{3))))$

Derefter

$\left\{{\begin{array}{l}{\frac {m}{1}}={\frac {\int \limits _{-\infty }^{\infty }{x{e ^{{\lambda _{3}}{x^{2}}+{\lambda _{2}}x+{\lambda _{1}}-1}}dx}}{\int \limits _{- \infty }^{\infty }{{e^{{\lambda _{3}}{x^{2}}+{\lambda _{2}}x+{\lambda _{1}}-1}} dx}}}={\frac {{\frac {1}{\sqrt {D2\pi }}}\int \limits _{-\infty }^{\infty }{x{e^{{\lambda _ {3}}{x^{2}}+{\lambda _{2}}x}}dx}}{{\frac {1}{\sqrt {D2\pi }}}\int \limits _{- \infty }^{\infty }{{e^{{\lambda _{3}}{x^{2}}+{\lambda _{2}}x}}dx}}}={\frac {{ \frac {1}{\sqrt {D2\pi }}}\int \limits _{-\infty }^{\infty }{x{e^{-{\frac {1}{2}}{\frac {{{\left({xm'}\right)}^{2}}-m{'^{2}}}{D}}}}dx}}{{\frac {1}{\sqrt {D2 \pi }}}\int \limits _{-\infty }^{\infty }{{e^{-{\frac {1}{2}}{\frac {{{\left({xm'}\ højre)}^{2}}-m{'^{2}}}{D}}}}dx}}}={\frac {m'}{1}}\\{\frac {\delta ^{ 2}}{1}}={\frac {\int \limits _{-\infty }^{\infty }{{x^{2}}{e^{{\lambda _{3}}{x^ {2}}+{\lambda _{2}}x+{\lambda _{1}}-1}}dx}}{\int \limits _{-\infty }^{\infty }{{e^{ {\lambda _{3}}{x^{2}}+{\lamb da _{2}}x+{\lambda _{1}}-1}}dx}}}={\frac {{\frac {1}{\sqrt {D2\pi }}}\int \limits _{ -\infty }^{\infty }{{x^{2}}{e^{-{\frac {1}{2}}{\frac {({\left({xm'}\right)}^ {2}}-m{'^{2}}}{D}}}}dx}}{{\frac {1}{\sqrt {D2\pi }}}\int \limits _{-\infty } ^{\infty }{{e^{-{\frac {1}{2}}{\frac {{{\left({xm'}\right)}^{2}}-m{'^{2 }}}{D}}}}dx}}}={\frac {1}{\sqrt {D2\pi }}}\int \limits _{-\infty }^{\infty }{{x^{ 2}}{e^{-{\frac {1}{2}}{\frac {{\left({xm'}\right)}^{2}}{D}}}}dx}=D+ m {'^{2}}\\1=\int \limits _{-\infty }^{\infty }{{e^{{\lambda _{3}}{x^{2}}+{\ lambda _{2}}x+{\lambda _{1}}-1}}dx}={e^{{\lambda _{1}}-1}}\int \limits _{-\infty }^{ \ infty {{e^{-{\frac {1}{2}}{\frac {{{\left({xm'}\right)}^{2}}-m{'^{2}} } {D}}}}dx}={e^{{\lambda _{1}}-1+{\frac {m{'^{2}}}{2D}}}}{\sqrt {D2\ pi }}\end{array}}\right.$ ,

hvor

$\left\{{\begin{array}{l}m=m'={\frac {\lambda _{2}}{-2{\lambda _{3}}}}\\{\delta ^{2}}-{m^{2}}={\delta ^{2}}-m{'^{2}}=D=-{\frac {1}{2{\lambda _{3} ))}\\{e^{{\lambda _{1}}-1}}={\frac {e^{-{\frac {m^{2}}{2D}}}}{\sqrt { D2\pi }}}\end{array}}\right.$ .

Naturligvis er variansen af fordelingen . $D$ $f(x)$

Endelig kan funktionen skrives som . $f(x)$ $f(x)={e^{{\lambda _{1}}-1}}{e^{{\lambda _{3}}{x^{2}}+{\lambda _{2 }}x}}={\frac {e^{-{\frac {m^{2}}{2D}}}}{\sqrt {D2\pi }}}{e^{-{\frac {1 }{2}}{\frac {{{\left({xm'}\right)}^{2}}-m{'^{2}}}{D}}}}={\frac {1} {\sqrt {D2\pi }}}{e^{-{\frac {1}{2}}{\frac {{\left({xm}\right)}^{2}}{D}}} }$

Så vi fik en normalfordeling med middelværdi og varians . $m$ $D$

Det er let at se, at det oprindeligt var muligt at indstille ikke det andet begyndelsesmoment af fordelingen, men dens varians, og stadig ville en normalfordeling med de givne parametre være opnået.

Tabel over ekstreme distributioner

I tabellen nedenfor maksimerer hver anført fordeling entropi under de betingelser, der er pålagt fordelingen, som angivet i den tredje kolonne. Den fjerde kolonne viser definitionsdomænet for den stokastiske variabel.

Tabel over ekstreme fordelinger

Fordeling	Fungere sandsynligheder/densitet sandsynligheder	Begrænsninger, overlejret fordeling	Område definitioner tilfældig mængder
Uniform (diskret)	$f(k)={\frac {1}{b-a+1))$	Ikke	${\begin{array}{l}\{a,a+1,\\...,\\b-1,b\}\,\\\end{array}}$
Uniform (sammenhængende)	$f(x)={\frac {1}{ba}}$	Ikke	$[a,b]\,$
Bernoulli	${\displaystyle f(k)=p^{k}(1-p)^{1-k))$	$M[k]=p\,$	$\{0,1\}\,$
Geometrisk	$f(k)=(1-p)^{k-1}\,p$	$M[k]={\frac {1}{p}}\,$	$\{1,2,3,...\}\,$
Eksponentiel	$f(x)=\lambda \exp \left(-\lambda x\right)$	$M[x]={\frac {1}{\lambda }}\,$	$[0,\infty )\,$
Laplace	$f(x)={\frac {1}{2b}}\exp \left(-{\frac {\|x-\mu \|}{b}}\right)$	$M[\|x-\mu \|]=b\,$	$(-\infty ,\infty )\,$
engelsk Asymmetrisk_Laplace_distribution	$f(x)={\frac {\lambda \,e^{-(xm)\lambda s\kappa ^{s))}{\kappa +1/\kappa }}\,(s\! =\!\operatørnavn {sgn}(x\!-\!m))$	$M[(xm)s\kappa ^{s}]=1/\lambda \,$	$(-\infty ,\infty )\,$
Pareto	${\displaystyle f(x)={\frac {\alpha x_{m}^{\alpha }}{x^{\alpha +1))))$	$M[\ln(x)]={\frac {1}{\alpha }}+\ln(x_{m})\,$	$[x_{m},\infty )\,$
Normal	$f(x)={\frac {1}{\sqrt {2\pi \sigma ^{2))))\exp \left(-{\frac {(x-\mu )^{2} }{2\sigma ^{2}}}\right)$	${\begin{array}{l}M[x]=\mu ,\,\\M[(x-\mu )^{2}]=\sigma ^{2}\\\end{array }}$	$(-\infty ,\infty )\,$
engelsk Von_Mises_distribution	$f(\theta )={\frac {1}{2\pi I_{0}(\kappa )}}\exp {(\kappa \cos {(\theta -\mu )})}$	${\begin{array}{l}M[\cos \theta ]={\frac {I_{1}(\kappa )}{I_{0}(\kappa )))\cos \mu ,\ ,\\M[\sin \theta ]={\frac {I_{1}(\kappa )}{I_{0}(\kappa )}}\sin \mu \\\end{array}}$	$[0,2\pi )\,$
Rayleigh	$f(x)={\frac {x}{\sigma ^{2}}}\exp \left(-{\frac {x^{2}}{2\sigma ^{2}}}\ ret)$	${\begin{array}{l}M[x^{2}]=2\sigma ^{2},\\M[\ln(x)]={\frac {\ln(2\sigma ^{2})-\gamma _{E}}{2}}\,\\\end{array}}$	$[0,\infty )\,$
Beta	$f(x)={\frac {x^{\alpha -1}(1-x)^{\beta -1}}{B(\alpha ,\beta )))$	${\begin{array}{l}M[\ln(x)]=\psi (\alpha )-\psi (\alpha +\beta ),\,\\M[\ln(1-x )]=\psi (\beta )-\psi (\alpha +\beta )\,\\\end{array}}$	$[0,1]\,$
Cauchy	$f(x)={\frac {1}{\pi (1+x^{2})))$	$M[\ln(1+x^{2})]=2\ln 2$	$(-\infty ,\infty )\,$
engelsk Chi_distribution	$f(x)={\frac {2}{2^{k/2}\Gamma (k/2)))x^{k-1}\exp \left(-{\frac {x^ {2}}{2}}\right)$	${\begin{array}{l}M[x^{2}]=k,\,\\M[\ln(x)]={\frac {1}{2))\venstre[\ psi \left({\frac {k}{2}}\right)\!+\!\ln(2)\right]\\\end{array}}$	$[0,\infty )\,$
chi-kvadrat	$f(x)={\frac {1}{2^{k/2}\Gamma (k/2)}}x^{{\frac {k}{2}}\!-\!1 }\exp \left(-{\frac {x}{2}}\right)$	${\begin{array}{l}M[x]=k,\,\\M[\ln(x)]=\psi \left({\frac {k}{2))\right) +\ln(2)\\\end{array}}$	$[0,\infty )\,$
engelsk Erlang_distribution	$f(x)={\frac {\lambda ^{k}}{(k-1)!}}x^{k-1}\exp(-\lambda x)$	${\begin{array}{l}M[x]=k/\lambda ,\,\\M[\ln(x)]=\psi (k)-\ln(\lambda )\\\ ende{array}}$	$[0,\infty )\,$
Gamma	$f(x)={\frac {x^{k-1}\exp(-{\frac {x}{\theta }})}{\theta ^{k}\Gamma (k)))$	${\begin{array}{l}M[x]=k\theta ,\,\\M[\ln(x)]=\psi (k)+\ln(\theta )\\\end {array}}$	$[0,\infty )\,$
lognormal	$f(x)={\frac {1}{\sigma x{\sqrt {2\pi ))))\exp \left(-{\frac {(\ln x-\mu )^{2 }}{2\sigma ^{2}}}\right)$	${\begin{array}{l}M[\ln(x)]=\mu ,\\M[(\ln(x)-\mu )^{2}]=\sigma ^{2} \,\\\end{array}}$	$[0,\infty )\,$
Maxwell	$f(x)={\frac {1}{a^{3}}}{\sqrt {\frac {2}{\pi }}}\,x^{2}\exp \left(- {\frac {x^{2}}{2a^{2}}}\right)$	${\begin{array}{l}M[x^{2}]=3a^{2},\,\\M[\ln(x)]\!=\!1\!+\! \ln \left({\frac {a}{\sqrt {2}}}\right)\!-\!{\frac {\gamma _{E}}{2}}\\\end{array}}$	$[0,\infty )\,$
Weibulla	$f(x)={\frac {k}{\lambda ^{k))}x^{k-1}\exp \left(-{\frac {x^{k)){\lambda ^ {k}}}\right)$	${\begin{array}{l}M[x^{k}]=\lambda ^{k},\\M[\ln(x)]=\ln(\lambda )-{\frac { \gamma _{E}}{k}}\,\\\end{array}}$	$[0,\infty )\,$
Multidimensionel normal	$f_{X}({\vec {x)))=$ ${\frac {\exp \left(-{\frac {1}{2}}({\vec {x}}-{\vec {\mu }})^{\top }\Sigma ^{ -1}\cdot ({\vec {x}}-{\vec {\mu }})\right)}{(2\pi )^{N/2}\venstre\|\Sigma \right\|^{1 /2}}}$	${\begin{array}{l}M[{\vec {x}}]={\vec {\mu )),\,\\M[({\vec {x}}-{\vec {\mu )))({\vec {x))-{\vec {\mu )))^{T}]=\Sigma \,\\\end{array))$	$(-{\vec {\infty )),{\vec {\infty )))\,$
Binomial	${\displaystyle f(k)={n \vælg k}p^{k}(1-p)^{nk))$
Poisson	$f(k)={\frac {\exp ^{-\lambda }\lambda ^{k}}{k!)}}$

Se også

Noter

↑ 12 Jaynes , ET Informationsteori og statistisk mekanik (engelsk) // Fysisk gennemgang : tidsskrift. - 1957. - Bd. Serie II , nr. 4 . - S. 620-630 . - doi : 10.1103/PhysRev.106.620 . - .
↑ Jaynes, ET Information Theory and Statistical Mechanics II (engelsk) // Physical Review : journal. - 1957. - Bd. Serie II , nr. 2 . - S. 171-190 . - doi : 10.1103/PhysRev.108.171 . - .
↑ 123 C.E. _ _ Shannon. En matematisk teori om kommunikation . Arkiveret fra originalen den 29. marts 2016.
↑ I.N. Beckman. Informatik. Forelæsningsforløb . — P. Dannelsesstadier af entropibegrebet . Arkiveret fra originalen den 13. december 2016.
↑ V.A. Fursov. Informationsteori. - Samara: SGAU, 2011. - S. 15.

Litteratur

Golitsyn G.A. Information og kreativitet. - M . : Den russiske verden, 1997. - 304 s. — ISBN 5-85810-039-2 .
Yu. G. Rudoy. Generaliseret information Entropi og ikke-kanonisk fordeling i ligevægtsstatistisk mekanik
Jaynes, ET Informationsteori og statistisk mekanik // Statistisk fysik (uspecificeret) / Ford, K. (red.). - New York: Benjamin, 1963. - S. 181.
Jaynes, ET, 1986 (ny version online 1996), 'Aber, kænguruer og ' $N$ , i Maximum-Entropy and Bayesian Methods in Applied Statistics , JH Justice (red.), Cambridge University Press, Cambridge, s. 26.
Bajkova, AT, 1992, Generalisering af maksimal entropi metode til rekonstruktion af komplekse funktioner . Astronomical and Astrophysical Transactions, V.1, udgave 4, s. 313-320.
Giffin, A. og Caticha, A., 2007, Opdatering af sandsynligheder med data og øjeblikke
Guiasu, S. og Shenitzer, A., 1985, 'Princippet om maksimal entropi', The Mathematical Intelligencer, 7 (1), 42-48.
Harremoës P. og Topsøe F., 2001, Maximum Entropy Fundamentals , Entropy, 3(3), 191-226.
Kapur, JN; og Kesavan, HK , 1992, Entropioptimeringsprincipper med applikationer , Boston: Academic Press. ISBN 0-12-397670-7
Kitamura, Y., 2006, Empirical Likelihood Methods in Econometrics: Theory and Practice , Cowles Foundation Discussion Papers 1569, Cowles Foundation, Yale University.
Lazar, N., 2003, "Bayesian Empirical Likelihood", Biometrika, 90, 319-326.
Owen, AB, Empirical Likelihood , Chapman og Hall.
Schennach, SM, 2005, "Bayesian Exponentially Tilted Empirical Likelihood", Biometrika, 92(1), 31-46.
Uffink, Jos, 1995, 'Kan det maksimale entropiprincip forklares som et konsistenskrav?' , Studier i moderne fysiks historie og filosofi 26B , 223-261.