Kullback-Leibler distance

Den aktuelle version af siden er endnu ikke blevet gennemgået af erfarne bidragydere og kan afvige væsentligt fra den version , der blev gennemgået den 3. december 2021; checks kræver 2 redigeringer .

Afstand (divergens, divergens) Kullback-Leibler ( engelsk Kullback-Leibler divergens ), RKL , informationsdiskrepans , adskillende information , informationsgevinst , relativ entropi ( engelsk relativ entropi ) [1] - ikke-negativ funktionel , som er et asymmetrisk mål for afstand fra hinanden ven af to sandsynlighedsfordelinger [2] defineret på det fælles rum af elementære begivenheder . Ofte anvendt i informationsteori og matematisk statistik .

Definition og fortolkninger

Kullback-Leibler divergensen af en fordeling med hensyn til (eller relativt set "afstanden fra til ") er angivet med . Det første argument for den funktionelle ( fordeling ) fortolkes normalt som en sand eller a priori postuleret fordeling , det andet ( fordeling ) som en antaget (verificerbar) en. Fordelingen tjener ofte som en tilnærmelse af en fordeling . Værdien af den funktionelle kan forstås som mængden af ignoreret distributionsinformation, hvis den blev brugt til at tilnærme . Dette mål for afstand i informationsteori tolkes også som mængden af informationstab, når den sande fordeling erstattes med distributionen . $Q$ $P$ $P$ $Q$ $D_{\mathrm {KL} }(P\parallel Q)$ $P$ $Q$ $Q$ $P$ $P$ $Q$ $P$ $P$ $Q$

I det generelle tilfælde, hvis der er et mål , som der eksisterer funktioner for absolut kontinuert med hensyn til og , så er Kullback-Leibler-divergensen af fordelingen med hensyn til defineret som $\mu$ $x$ $\mu$ $p={\frac {{\rm {d}}P}{{\rm {d}}\mu }}$ $q={\frac {{\rm {d}}Q}({\rm {d}}\mu }}$ $Q$ $P$

D_{\mathrm {KL} }(P\parallel Q)=\int _{X}p\,\log {\frac {p}{q))\,{\rm {d))\mu

Grundlaget for logaritmen i denne formel spiller ikke en væsentlig rolle. Dens valg gør det muligt at fiksere en specifik type funktionel fra en familie af ækvivalente funktionaliteter og er ensbetydende med at vælge måleenheden for Kullback-Leibler-diskrepansen (svarende til situationen med beregning af entropi ), så det er muligt at bruge en logaritme med evt. base større end én. Med andre ord er det funktionelle defineret op til en positiv konstant faktor. De mest almindelige er den naturlige logaritme (af bekvemmelighedsgrunde) såvel som den binære logaritme - for at måle uoverensstemmelsen i bit (normalt brugt i informationsteori ). Kullback-Leibler divergensen er en dimensionsløs størrelse , uanset dimensionen af de oprindelige tilfældige variable.

Selvom Kullback-Leibler-afstanden (RKL) ofte betragtes som en måde at måle afstanden mellem sandsynlighedsfordelinger på, er denne funktion ikke en metrik i fordelingernes rum, da den ikke opfylder trekantens ulighed og ikke opfylder aksiomet for symmetri :. Dens infinitesimale form, især dens hessiske , giver dog en metrisk tensor , som er kendt som Fisher informationsmetrikken . $D_{\mathrm {KL} }(P\parallel Q)\neq D_{\mathrm {KL} }(Q\parallel P)$

Kullback-Leibler-distancen er et særligt tilfælde af en mere generel klasse af uoverensstemmelser kaldet f - uoverensstemmelser , såvel som et særligt tilfælde af Bregman-klassen af uoverensstemmelser . RKL er den eneste divergens af sandsynligheder, der hører til begge klasser.

RKL blev oprindeligt introduceret af Solomon Kullback og Richard Leibler i 1951 som en retningsbestemt divergens mellem to fordelinger. Dette diskuteres i Kullbacks tekst Information Theory and Statistics. [en]

Kullback-Leibler-afstanden tolkes nogle gange også som den informationsgevinst, der opnås, når den bruges i stedet for . Nogle gange bruges forvirrende navne for RKL relativ entropi relativ (betegnet ) eller krydsentropi . $D_{\mathrm {KL} }(P\parallel Q)$ $P$ $Q$ $P$ $Q$ $H(P\mid Q)$

Der er forskellige konventioner om, hvordan man læser notationen . Ofte blot omtalt som uoverensstemmelsen eller afstanden mellem og , men dette formidler ikke den grundlæggende asymmetri i forholdet. Nogle gange siger de "divergens fra (i forhold til) " eller, relativt set, "afstand fra til " (normalt i sammenhæng med relativ entropi eller informationsgevinst). I dette tilfælde tolkes fordelingen som sand. $D_{\mathrm {KL} }(P\parallel Q)$ $P$ $Q$ $P$ $Q$ $Q$ $P$ $Q$

Særlige definitioner og definitioner i form af Radon-Nikodim-derivatet

For diskrete sandsynlighedsfordelinger og med et antal elementære hændelser defineres Kullback-Leibler-divergensen af en fordeling med hensyn til fordelingen (eller "afstand fra til ") [3] som: $P$ $Q$ $n$ $Q$ $P$ $P$ $Q$

D_{KL}(P\parallel Q)=\sum \limits _{i=1}^{n}p_{i}\log {\frac {p_{i}}{q_{i}}}

Det er med andre ord middelværdien af den logaritmiske forskel mellem sandsynligheder og , hvor middelværdien er taget fra fordelingen . RKL defineres kun hvis , for alle ( absolut kontinuitet ). Når som helst, tolkes bidraget fra det -te led som nul, fordi . $s$ $q$ $P$ $q_{i}=0\Rightarrow p_{i}=0$ $i=1,...,n$ $p_{i}=0$ $jeg$ $\lim _{x\to 0}x\log(x)=0$

For -dimensionelle absolut kontinuerte fordelinger og Kullback-Leibler-afstanden er givet ved udtrykket [4] $k$ $P$ $Q$

D_{\mathrm {KL} }(P\parallel Q)=\int _{X}\,p(x)\log {\frac {p(x)}{q(x)))\, {\rm {d}}x

hvor og er fordelingstæthedsfunktionerne og henholdsvis defineret på intervallet . $p(x)$ $q(x)$ $P$ $Q$ ${\displaystyle X\subseteq R^{k))$

Mere generelt, hvis og er sandsynlighedsmålinger på sættet , og er absolut kontinuerlige med hensyn til , så er RKL fra til defineret som: $P$ $Q$ $x$ $P$ $Q$ $P$ $Q$

D_{\mathrm {KL} }(P\parallel Q)=\int _{X}\log {\frac ({\rm {d))P}({\rm {d))Q)) \,{\rm {d}}P

hvor er Radon-Nikodym-derivatet med hensyn til , og forudsat at udtrykket til højre eksisterer. Tilsvarende kan dette skrives som ${\frac {{\rm {d}}P}{{\rm {d}}Q}}$ $P$ $Q$

D_{\mathrm {KL} }(P\parallel Q)=\int _{X}\log \!\left({\frac ({\rm {d))P}({\rm {d }}Q}}\right){\frac {{\rm {d}}P}{{\rm {d}}Q}}\,{\rm {d}}Q

Det skal bemærkes, at brugen af Radon-Nikodim-derivatet tjener som et formelt middel til at skrive disse udtryk, men afslører ikke deres meningsfulde betydning.

Kullback-Leibler divergensfunktionen er dimensionsløs, men dens værdier kan have forskellige enheder. Så hvis logaritmerne i disse formler er taget i base 2, så måles divergensen (det er også information fra informationsteoriens synspunkt) i bits ; hvis baseret på e (med en naturlig base), så måles divergensen (informationen) i nats . De fleste formler, der indeholder RKL, bevarer deres betydning uanset logaritmens basis.

Karakterisering

Arthur Hobson beviste, at Kullback-Leibler-afstanden er det eneste mål for forskellen mellem sandsynlighedsfordelinger, der opfylder nogle ønskelige egenskaber, der er kanoniske udvidelser til dem, der optræder i almindeligt anvendte karakteriseringer af entropi . [5] Derfor er gensidig information det eneste mål for gensidig afhængighed, der er underlagt nogle relaterede betingelser, da det kan defineres i termer af RCL .

Der er også en Bayesiansk karakterisering af afstanden Kullback-Leibler. [6]

Motivation

I informationsteorien siger Kraft-McMillan-sætningen , at enhver direkte afkodelig indkodningsordning til indkodning af en besked for at identificere en enkelt værdi , kan ses som repræsenterende en implicit sandsynlighedsfordeling over , hvor er kodelængden for , i bits. Derfor kan RCL tolkes som den forventede ekstra beskedlængde fra nulmærket, der skal transmitteres, hvis der anvendes en kode, der er optimal for en given (forkert) distribution af Q, sammenlignet med at bruge en kode baseret på den sande fordeling af P . $x_{i}\subset X$ $q(x_{i})=2^{-I_{i))$ $x$ $I_i$ $x_{i}$

${\tekststil {\begin{matrix}D_{\mathrm {KL} }(P\parallel Q)=-\sum _{x}p(x)\log q(x)+\sum _{x}p( x)\log p(x)=H(P,Q)-H(P)\,\!\end{matrix}}}$ , hvor er krydsentropien af P og Q, er entropien af P. $H(P,Q)$ $H(P)$

Bemærk også, at der er en sammenhæng mellem RKL og "hastighedsfunktionen" i teorien om store afvigelser . [7] [8]

Egenskaber

Kullback-Leibler-afstanden er altid ikke-negativ, et resultat, der er kendt som Gibbs-uligheden , næsten overalt . Entropien H(P) angiver således minimumsværdien af krydsentropien H(P,Q), det forventede antal ekstra bits, der kræves, når en kode baseret på Q i stedet for P bruges. skal videregives for at bestemme værdien af , hvis der bruges en kode, der matcher sandsynlighedsfordelingen Q i stedet for den "sande" fordeling P. $D_{\mathrm {KL} }(P\parallel Q)\geq 0,$ $D_{KL}(P\parallel Q)=0\iff P=Q$ $x\subset X$
Kullback-Leibler-afstanden er ikke symmetrisk: . $D_{\mathrm {KL} }(P\parallel Q)\neq D_{\mathrm {KL} }(Q\parallel P)$

Kullback-Leibler-afstanden forbliver strengt defineret for kontinuerte fordelinger og er desuden invariant under ændring af variable. For eksempel, hvis variablen x erstattes af variablen y(x), så, siden og , kan RKL omskrives: $P(x)dx=P(y)dy$ $Q(x)dx=Q(y)$

${\textstyle D_{\mathrm {KL} }(P\parallel Q)=\int _{x_{a}}^{x_{b}}P(x)\log \left({\frac {P(x) )}{Q(x)}}\right)\,dx=\int _{y_{a}}^{y_{b}}P(y)\log \left({\frac {P(y)dy /dx}{Q(y)dy/dx}}\right)\,dy=\int _{y_{a}}^{y_{b}}P(y)\log \left({\frac {P (y)}{Q(y)}}\right)\,dy}$ ,

hvor og . På trods af antagelsen om, at transformationen var kontinuerlig, er dette ikke nødvendigt i dette tilfælde. Dette viser også, at RKL angiver en værdi i overensstemmelse med dimensionen , da hvis x er en dimensionsvariabel, så har P(x) og Q(x) også en dimension, da det er en dimensionsløs størrelse. Udtrykket under logaritmen forbliver dog dimensionsløst, som det burde. Derfor kan Kullback-Leibler-afstanden på en måde betragtes som en mere fundamental størrelse end nogle andre egenskaber i informationsteorien [9] (såsom selvinformation eller Shannon-entropi ), som kan blive udefineret eller negativ for ikke- diskrete sandsynligheder. $y_{a}=y(x_{a})$ $y_{b}=y(x_{b})$ $P(x)dx$

RKL er additiv til uafhængige distributioner på nogenlunde samme måde som Shannon-entropien. Hvis er uafhængige fordelinger med fælles fordeling og på samme måde , så $P_{1},P_{2}$ $P(x,y)=P_{1}(x)P_{2}(y)$ $Q(x,y)=Q_{1}(x)Q_{2}(y)$ $D_{\mathrm {KL} }(P\parallel Q)=D_{\mathrm {KL} }(P_{1}\parallel Q_{1})+D_{\mathrm {KL} }(P_{ 2}\parallel Q_{2}).$

Kullback-Leibler-afstanden for den multivariate normalfordeling

Lad os sige, at vi har to multivariate normalfordelinger , med middelværdi og med (reversible) kovariansmatricer . Hvis to fordelinger har samme dimension k, så er RCL mellem fordelingerne som følger [10] : ${\displaystyle \mu _{0},\mu _{1))$ $\Sigma _{0},\Sigma _{1}$

$D_{\text{KL}}({\mathcal {N}}_{0}\parallel {\mathcal {N}}_{1})={1 \over 2}\left(\mathrm { tr} \left(\Sigma _{1}^{-1}\Sigma _{0}\right)+\left(\mu _{1}-\mu _{0}\right)^{\top } \Sigma _{1}^{-1}(\mu _{1}-\mu _{0})-k+\ln \left({\det \Sigma _{1} \over \det \Sigma _{ 0}}\right)\right).$

Logaritmen i det sidste led skal tages som basis e, da alle undtagen det sidste led er naturlige logaritmer af udtryk, der enten er en hvilken som helst faktor i tæthedsfunktionen eller på anden måde forekommer naturligt. Derfor giver ligningen et resultat målt i nats . Ved at dividere dette udtryk helt med log e 2, får vi fordelingen i bit.

Relation til metrics

Man kunne kalde RCL en " metrik " i rummet af sandsynlighedsfordelinger, men dette ville være forkert, da det ikke er symmetrisk og ikke opfylder trekantens ulighed . Alligevel, da den er en foreløbig metrik , genererer den en topologi i rummet af sandsynlighedsfordelinger . Mere specifikt, hvis er en sekvens af distributioner sådan, at , så siger vi at . Det følger af Pinskers ulighed , at — , hvor sidstnævnte er nødvendig for konvergens i variation . $D_{\mathrm {KL} }(P\parallel Q)\neq D_{\mathrm {KL} }(Q\parallel P)$ ${\displaystyle \{P_{1},P_{2},\cdots \))$ $\lim _{n\rightarrow \infty }D_{\mathrm {KL} }(P_{n}\parallel Q)=0$ $P_{n}{\xrightarrow {D}}Q$ $P_{n}{\xrightarrow {\mathrm {D} }}P\Rightarrow P_{n}{\xrightarrow {\mathrm {TV} }}P$

Ifølge Alfred Renyi (1970, 1961). [11] [12]

Fishers informationsmetrik

Kullback-Leibler-afstanden er dog direkte relateret til metrikken, nemlig Fisher informationsmetrikken . Antag, at vi har sandsynlighedsfordelinger P og Q, som begge er parametriseret af den samme (muligvis multivariate) parameter . Overvej nu to tætte værdier af og , sådan at parameteren kun afviger med et lille tal fra parameteren . Nemlig at udvide i en Taylor-serie op til den første orden, har vi (ved hjælp af Einstein-konventionen ) $\theta$ $P=P(\theta )$ $Q=P(\theta _{0})$ $\theta$ $\theta _{0}$

$P(\theta )=P(\theta _{0})+\Delta \theta ^{j}P_{j}(\theta _{0})+\cdots$ ,

hvor er en lille ændring i den j. retning, og er den tilsvarende ændringshastighed i sandsynlighedsfordelingen. Da RCL'en har et absolut minimum lig med 0 ved P=Q, det vil sige, at RCL'en har den anden orden af lillehed med hensyn til parametrene . Mere formelt, som for ethvert minimum, forsvinder den første afledte af divergensen ${\displaystyle \Delta \theta ^{j}=(\theta -\theta _{0})^{j))$ $\theta$ $P_{j}(\theta _{0})={\frac {\partial P}{\partial \theta ^{j))}(\theta _{0})$ $\theta =\theta _{0}$ ${\displaystyle \Delta \theta ^{j))$ $\left.{\frac {\partial }{\partial \theta ^{j}}}\right|_{\theta =\theta _{0}}D_{KL}(P(\theta)\ parallel P(\theta _{0}))=0,$

og Taylor-udvidelsen starter fra den anden orden af lillehed

$D_{\mathrm {KL} }(P(\theta )\parallel P(\theta _{0}))={\frac {1}{2))\Delta \theta ^{j}\Delta \theta ^{k}g_{jk}(\theta _{0})+\cdots$ ,

hvor hessian skal være ikke-negativ. Hvis det tillades at variere (og udelade underindekset 0), så definerer hessian en (muligvis degenereret) Riemann-metrik i parameterrummet , kaldet Fisher-informationsmetrikken. $g_{jk}(\theta )$ $\theta _{0}$ $g_{jk}(\theta )$ $\theta$

Relation til andre dimensioner af informationsteori

Mange andre informationsteoretiske størrelser kan tolkes som at anvende Kullback-Leibler-afstanden til bestemte tilfælde.

Egenværdien er RCL for sandsynlighedsfordelingen fra Kronecker-symbolet , der repræsenterer sikkerheden for, at - det vil sige antallet af ekstra bits, der skal transmitteres for at bestemme , hvis kun sandsynlighedsfordelingen er tilgængelig for modtageren, ikke det faktum, at . $D_{\mathrm {KL} }(\delta _{im}\parallel \{p_{i}\})$ $P(i)$ $i=m$ $jeg$ $P(i)$ $i=m$

Gensidig information -

${\begin{aligned}I(X;Y)&=D_{\mathrm {KL} }(P(X,Y)\parallel P(X)P(Y))\\&=\operatørnavn { E} _{X}\{D_{\mathrm {KL} }(P(Y\midt X)\parallel P(Y))\}\\&=\operatørnavn {E} _{Y}\{D_{ \mathrm {KL} }(P(X\mid Y)\parallel P(X))\}\end{aligned}}$

er RCL af produktet af to marginale sandsynlighedsfordelinger fra den fælles sandsynlighedsfordeling - det vil sige det forventede antal ekstra bits, der skal sendes for at bestemme, og hvis kodet kun ved hjælp af deres marginale fordeling i stedet for den fælles fordeling. Tilsvarende, hvis fællessandsynligheden er kendt, er det det forventede antal ekstra bits, der skal sendes i gennemsnit for at bestemme, om værdien ikke allerede er kendt af modtageren. $P(X)P(Y)$ $P(X,Y)$ $x$ $Y$ $P(X,Y)$ $Y$ $x$

Entropi af Shannon -

${\begin{aligned}\mathrm {H} (X)&=\operatørnavn {E} [\operatørnavn {I} _{X}(x)]\\&=\log(N)-D_{ \text{KL}}(P(X)\parallel P_{U}(X))\end{aligned}}$

er antallet af bits, der skal transmitteres for at identificere fra lige sandsynlige udfald, dette er mindre end den ensartede fordeling RCL fra den sande fordeling - altså mindre end det forventede antal lagrede bits, der skal sendes, hvis værdien er kodet iht . til den ensartede fordeling og ikke den sande fordeling . $x$ $N$ $P_{U}(X)$ $P(X)$ $x$ $P_{U}(X)$ $P(X)$

Betinget entropi -

${\begin{aligned}\mathrm {H} (X\mid Y)&=\log(N)-D_{\text{KL))(P(X,Y)\parallel P_{U}( X)P(Y))\\&=\log(N)-D_{\tekst{KL}}(P(X,Y)\parallel P(X)P(Y))-D_{\tekst{KL }}(P(X)\parallel P_{U}(X))\\&=\mathrm {H} (X)-\operatørnavn {I} (X;Y)\\&=\log(N)- \operatørnavn {E} _{Y}{\bigl [}D_{\text{KL}}(P(X\mid Y)\parallel P_{U}(X)){\bigr ]}\end{aligned} }$

er antallet af bit, der skal sendes for at identificere fra lige sandsynlige udfald, dette er mindre end RCL af produktet af distributionerne fra den sande fælles distribution - det vil sige mindre end det forventede antal lagrede bit, der skal sendes, hvis værdien er kodet i henhold til den ensartede fordeling og ikke med betinget datafordeling og . $x$ $N$ $P_{U}(X)$ $P(X,Y)$ $x$ $P_{U}(X)$ $P(X\mid Y)$ $x$ $Y$

Krydsentropien mellem to sandsynlighedsfordelinger måler det gennemsnitlige antal bits, der er nødvendige for at identificere en hændelse fra et sæt af mulige hændelser, hvis et kodningsskema baseret på en given sandsynlighedsfordeling anvendes i stedet for den "sande" fordeling . Krydsentropien for to fordelinger og over det samme sandsynlighedsrum er defineret som følger: $Q$ $P$ $P$ $Q$ $H(p,q)=\operatørnavn {E} _{p}[-\log q]=H(p)+D_{\mathrm {KL} }(p\parallel q).$

Kullback-Leibler distance og Bayesiansk modifikation

I Bayesiansk statistik kan Kullback-Leibler-afstanden bruges som et mål for informationsgevinsten, når man går fra en forudgående til en bagefter sandsynlighedsfordeling. Hvis en ny kendsgerning opdages , kan den bruges til at ændre (a priori) sandsynlighedsfordelingen til en ny (posterior) sandsynlighedsfordeling ved hjælp af Bayes' sætning : $Y=y$ $p(x\mid I)$ $x$ $p(x\midt y,I)$

p(x\midt y,I)={\frac {p(y\midt x,I)p(x\midt I)}{p(y\midt I))).

Denne fordeling har en ny entropi

H{\big (}p(\cdot \midt y,I){\big )}=-\sum _{x}p(x\midt y,I)\log p(x\midt y, JEG),

som kan være mindre eller mere end den oprindelige entropi . Men med hensyn til den nye sandsynlighedsfordeling kan det estimeres, at brug af den oprindelige kode baseret på i stedet for den nye kode baseret på ville tilføje det forventede antal bit til længden af meddelelsen. Dette er således mængden af nyttig information, eller informationsgevinst, vedrørende , som blev opnået ved at finde, at . ${\displaystyle H{\big (}p(\cdot \mid I){\big )))$ $p(x\mid I)$ $p(x\midt y,I)$ $D_{\mathrm {KL} }{\big (}p(\cdot \mid y,I)\mid p(\cdot \mid I){\big )}=\sum _{x}p( x\midt y,I)\log {\frac {p(x\midt y,I)}{p(x\midt I)))$ $x$ $Y=y$

Hvis der efterfølgende kommer et andet stykke data, , så kan sandsynlighedsfordelingen for x opdateres yderligere for at give et nyt bedste gæt , . Hvis vi genovervejer informationsgevinsten at bruge , og ikke , viser det sig, at den kan være mere eller mindre end tidligere antaget: , kan være eller , end , og derfor opfylder den samlede informationsgevinst ikke trekantsuligheden: $Y_{2}=y_{2}$ $p(x\midt y_{1},y_{2},I)$ $p(x\midt y_{1},I)$ $p(x\mid I)$ $\sum _{x}p(x\midt y_{1},y_{2},I)\log {\frac {p(x\midt y_{1},y_{2},I)} {p(x\midt I)}}$ $\leq$ ${\displaystyle >>$ $\displaystyle \sum _{x}p(x\midt y_{1},I)\log {\frac {p(x\midt y_{1},I)}{p(x\midt I) }}$

${\displaystyle D_{\mathrm {KL} }{\big (}p(\cdot \mid y_{1},y_{2},I)\parallel p(\cdot \mid I){\big )))$ , kan være større end, mindre end eller lig med $D_{\mathrm {KL} }{\big (}p(\cdot \mid y_{1},y_{2},I)\parallel p(\cdot \mid y_{1},I){ \big )}+D_{\mathrm {KL} }{\big (}p(\cdot \mid y_{1},I)\parallel p(x\mid I){\big )}.$

Det eneste, der kan siges, er, at i gennemsnit, hvis man tager gennemsnittet med , vil begge sider give gennemsnittet. $p(y_{2}\midt y_{1},x,I)$

Bayes' eksperimentelle model

Et fælles mål i en eksperimentel Bayesiansk model er at maksimere den forventede RCL mellem den tidligere og posteriore fordeling. [13] Når posterioren er tilnærmet til en Gauss-fordeling, kaldes modellen, der maksimerer den forventede RCL, Bayesiansk d-optimal .

Særende information

Kullback-Leibler-afstanden kan også fortolkes som den forventede diskriminerende information for over : gennemsnitlig information pr. stikprøve for forskellen til fordel for hypotesen , mod hypotesen, når hypotesen er sand [14] . Et andet navn for denne mængde, givet af Irving John Good , er den forventede bevismasse for over forventet fra hver prøve. $D_{\mathrm {KL} }(p(x\mid H_{1})\parallel p(x\midt H_{0}))$ ${\displaystyle H_{1))$ ${\displaystyle H_{0))$ ${\displaystyle H_{1))$ ${\displaystyle H_{0))$ ${\displaystyle H_{1))$ ${\displaystyle H_{1))$ ${\displaystyle H_{0))$

Den forventede evidensvægt for over er ikke den samme som den forventede informationsgevinst, for eksempel for sandsynlighedsfordelingen p(H) for hypotesen ,. ${\displaystyle H_{1))$ ${\displaystyle H_{0))$ $D_{\mathrm {KL} }(p(x\mid H_{1})\parallel p(x\midt H_{0}))\neq IG=D_{\mathrm {KL} }(p( H\midt x)\parallel p(H\midt I)).$

Hver af de to størrelser kan bruges som en nyttefunktion i den Bayesianske forsøgsform til at vælge det optimale næste spørgsmål til undersøgelse, men generelt vil de snarere føre til forskellige eksperimentelle strategier.

På informationsgevinst-entropi-skalaen er der meget lille forskel mellem næsten sikkerhed og fuld sikkerhed - næsten sikkerhed-kodning vil næppe kræve flere bits end fuld sikkerhed-kodning. På den anden side er vægten af beviser underforstået i logit- skalaen, og forskellen mellem de to er enorm, næsten uendelig. Dette kan afspejle forskellen mellem at være næsten sikker (på et sandsynlighedsniveau), for eksempel, at Riemann-hypotesen er sand, og at være helt sikker på, at den er sand, fordi der er et matematisk bevis. To forskellige tabsfunktionsskalaer for usikkerhed er begge nyttige, alt efter hvor godt hver afspejler de særlige omstændigheder ved det problem, der overvejes i problemet.

Princippet om minimumsadskillende information

Ideen om RKL som diskriminerende information fik Kullback til at foreslå princippet om minimumsdiskriminationsinformation (MDI ) : givet nye fakta, bør en ny distribution vælges fra dem, der er svære at skelne fra den oprindelige distribution ; fordi nye data genererer så lidt informationsgevinst som muligt. $f$ ${\displaystyle f_{0))$ $D_{KL}(f\parallel f_{0})$

For eksempel, hvis vi har en tidligere fordeling over og , og derefter studere den sande fordeling af og . RCL mellem den nye fælles distribution for og , og den gamle tidligere distribution ville være: $p(x,a)$ $x$ $-en$ $-en$ $u(a)$ $x$ $-en$ $q(x\mid a)u(a)$ $D_{\mathrm {KL} }(q(x\mid a)u(a)\parallel p(x,a))=\operatørnavn {E} _{u(a)}\{D_{\ mathrm {KL} }(q(x\mid a)\parallel p(x\mid a))\}+D_{\mathrm {KL} }(u(a)\parallel p(a)),$

det vil sige summen af RKL for den tidligere fordeling for fra den opdaterede fordeling plus den forventede værdi (den brugte sandsynlighedsfordeling ) af RKL for den tidligere betingede fordeling fra den nye fordeling . (Bemærk, at den ofte senere forventede værdi kaldes den betingede RKL (eller betinget relativ entropi) og betegnes [15] . Dette minimerer hvis over det samlede indhold . Og vi bemærker, at dette resultat forener Bayes' sætning, hvis den nye fordeling faktisk er en funktion, der med sikkerhed repræsenterer , som har én bestemt værdi. $p(a)$ $-en$ $u(a)$ $u(a)$ $p(x\mid a)$ $p(x\mid a)$ $D_{KL}(q(x\mid a)\parallel p(x\mid a))$ $q(x\mid a)=p(x\mid a)$ $u(a)$ $u(a)$ $-en$

Minimum distinguishing information kan ses som en forlængelse af Laplaces ligegyldighedsprincip (også kendt som princippet om utilstrækkelig grund) og Jaynes ' maksimale entropiprincip . Især er det en naturlig udvidelse af det maksimale entropi-princip fra en diskret til en kontinuert fordeling, for hvilken Shannon-entropien ikke bliver særlig bekvem (se differentialentropi ), men RCL er fortsat lige så relevant.

I ingeniørlitteratur omtales MDI nogle gange som minimum krydsentropiprincippet . At minimere RCL fra med hensyn til svarer til at minimere krydsentropien og , hvilket er passende, hvis man forsøger at vælge en nøjagtig omtrentlig værdi op til . $m$ $s$ $m$ $s$ $m$ $H(p,m)=H(p)+D_{\mathrm {KL} }(p\parallel m),$ $s$

Eksempel på brug

Lad, baseret på en stikprøve fra fordelingen af en tilfældig variabel, er det nødvendigt at genoprette tætheden af dens fordeling, givet i form af en parametrisk familie , hvor er argumentet for funktionen, er en ukendt parameter. Parameterestimatet kan findes som en løsning på problemet med at minimere Kullback-Leibler-afstanden mellem tætheden og den empiriske fordelingstæthed betragtet som "sand", ${\displaystyle x_{1},x_{2},\dotsc ,x_{n))$ $f(x,\theta)$ $x\i X\subseteq R$ $\theta$ $\theta$ $f(x,\theta)$

{\hat {f}}(x)={\frac {1}{n}}\sum \limits _{i=1}^{n}\mathbf {\delta } (x-x_{i})

hvor er Dirac-funktionen : $\delta$

{\hat {\theta }}=\operatørnavn {arg} {\underset {\theta }{\operatørnavn {min} }}D_{KL}({\hat {f}}(x),f(x,\ theta ))=\operatørnavn {arg} {\underset {\theta }{\operatørnavn {maks} }}\int \limits _{X}^{}{\hat {f}}(x)\ln f(x ,\theta )\,dx=\operatørnavn {arg} {\underset {\theta }{\operatørnavn {max} }}\sum \limits _{i=1}^{n}\mathbf {\ln } f( x_{i},\theta )

Det er let at se, at løsningen af dette problem fører til et maksimalt sandsynlighedsestimat for parameteren . Hvis den faktiske fordelingstæthed af den stokastiske variabel ikke tilhører familien , kaldes det fundne parameterestimat quasi-likelihood og giver den bedste tilnærmelse af den faktiske fordeling repræsenteret af stikprøven blandt fordelinger med tætheder i forhold til Kullback-Leibler-afstanden . $\theta$ $f(x,\theta)$ ${\hat {\theta ))$ $\theta$ $f(x,\theta)$

Noter

↑ 1 2 Kullback S. Informationsteori og statistik. - John Wiley & Sons, 1959.
↑ Kullback S., Leibler R. A. Om information og tilstrækkelighed // The Annals of Mathematical Statistics. 1951.V.22. nr. 1. S. 79-86.
↑ MacKay, David JC Informationsteori, inferens og læringsalgoritmer. - Første udgave.. - Cambridge University Press, 2003. - C. p. 34.
↑ Biskop C. Mønstergenkendelse og maskinlæring. - 2006. - S. p. 55.
↑ Hobson, Arthur. Begreber i statistisk mekanik. Gordon og Breach. - New York, 1971. - ISBN 0677032404 .
↑ Baez, John; Fritz, Tobias. Teori og anvendelse af kategorier 29.-C. "En Bayesiansk karakterisering af relativ entropi", s. 421-456..
↑ I.N. Sanov. Om sandsynligheden for store afvigelser af stokastiske variable. - 1957. - S. 11-44.
↑ Novak SY ekstreme værdimetoder med ansøgninger om finansiering kap. 14.5. — Chapman & Hall. - 2011. - ISBN 978-1-4398-3574-6 .
↑ Relativ entropi . videolectures.net. Hentet 14. juni 2016. Arkiveret fra originalen 25. december 2018. (ubestemt)
↑ Duchi J. "Afledninger til lineær algebra og optimering". - S. 13 .
↑ Rényi A. Sandsynlighedsteori. - 1970. - ISBN 0-486-45867-9 ..
↑ Rényi, A. "Om mål for entropi og information". - 4. Berkeley Symposium on Mathematics, Statistics and Probability 1960, 1961. - s. 547–561.
↑ Chaloner, K.; Verdinelli, I. "Bayesiansk eksperimentelt design: en anmeldelse". — Statistical Science 10, 1995. — 273–304 s.
↑ Tryk, W.H.; Teukolsky, SA; Vetterling, WT; Flannery, B. P. (2007). "Afsnit 14.7.2. Afstand Kullback–Leibler". Numeriske opskrifter: The Art of Scientific Computing (3. udgave). Cambridge University Press. ISBN 978-0-521-88068-8 . .
↑ Thomas M. Cover, Joy A. Thomas. Elementer af informationsteori . — John Wiley & sønner. - 1991. - S. s.22.