F-divergens

f -divergens ( f -diskrepans ) er en klasse af funktionaler, der generelt definerer et asymmetrisk mål for divergens mellem to sandsynlighedsfordelinger og. Almindelig anvendt i informationsteori og sandsynlighedsteori . Funktionen er entydigt bestemt (genereret) af en funktion, der opfylder visse betingelser. $D_{f}(P\parallel Q)$ $P$ $Q$ $f(t)$

Denne klasse af divergenser blev introduceret og undersøgt uafhængigt af Csiszár (1963 ), Morimoto (1963 ) og Ali & Silvey (1966 ). Derfor kan du nogle gange finde navnene f -Chisara divergens , Chisara-Morimoto divergens eller Ali-Silvi distance.

Definition

Lad og være sandsynlighedsfordelinger givet på sættet sådan, at er absolut kontinuerlig med hensyn til . Lad funktionen være konveks for og . Så definerer funktionen f -divergensen med hensyn til følgende måde: $P$ $Q$ $\Omega$ $P$ $Q$ $f(t)$ $t\geq 0$ $f(1)=0$ $f$ $P$ $Q$

D_{f}(P\parallel Q)=\int _{\Omega }f\left({\frac {dP}{dQ))\right)dQ=\operatørnavn {E} _{Q}f \venstre({\frac {dP}{dQ}}\højre).

Hvis er et mål på , og begge distributioner og er kontinuerlige med hensyn til , dvs. der er funktioner og , så kan f -divergensen skrives som $\mu$ $\Omega$ $P$ $Q$ $\mu$ $p={\frac {dP}{d\mu }}$ $q={\frac {dQ}{d\mu }}$

D_{f}(P\parallel Q)=\int _{\Omega }f\left({\frac {p}{q))\right)q\,d\mu .

I tilfælde af Lebesgue-målet har fordelingerne tætheder , og f - divergensen tager derefter formen $\mu=x$ $p(x)$ $q(x)$

D_{f}(P\parallel Q)=\int _{\Omega }f\left({\frac {p(x)}{q(x)))\right)q(x)\, dx.

For diskrete distributioner og , hvor , $P=\{p_{i}\}$ $Q=\{q_{i}\}$ $i=1,...,N$

D_{f}(P\parallel Q)=\sum _{i=1}^{N}f\left({\frac {p_{i}}{q_{i}}}\right)q_ {jeg}.

Det skal bemærkes, at funktionen er defineret op til udtrykket , hvor er en vilkårlig konstant. Formen for f -divergensen afhænger nemlig ikke af valget af , da funktionsleddet yder et nulbidrag til værdien af integralet. Derudover kan funktionen indeholde en positiv multiplikationskonstant , som angiver måleenheden for divergensen. I denne forbindelse angiver nogle forfattere (for eksempel Basseville (2010 )) yderligere begrænsninger for funktionen : $f(t)$ $c(t-1)$ $c$ $c$ $c(t-1)$ $f(t)$ $f(t)$ $k$ $f(t)$

f'(1)=0,

f''(1)=1.

Den første af disse begrænsninger fikserer konstanten , den anden fikserer konstanten . Betingelsen kan være nyttig ved, at i dette tilfælde med et minimum på et punkt (se Liese & Vajda (2006 )), er udtrykket for f -divergensen intuitivt lettere at forstå. Denne måde at konkretisere en funktion på er dog ikke altid praktisk: for eksempel kan eksistensen af en kontinuert version af f -entropien forbundet med en given f -divergens kræve en anden værdi af konstanten . $c$ $k$ $f'(1)=0$ $f(t)\geq 0$ $t=1$ $f(t)$ $c$

f -divergens kan udvides i en Taylor-serie og skrives som en vægtet sum af χ - type afstande (se Nielsen & Nock (2013 )).

Særlige tilfælde af f -divergens

Mange velkendte divergenser, såsom Kullback-Leibler divergens , Hellinger distance squared , chi-squared distance og en række andre, er specielle tilfælde af f -divergens, som svarer til et bestemt valg af funktion . Den følgende tabel oplister nogle almindelige typer af divergenser mellem sandsynlighedsfordelinger og deres tilsvarende funktion (se Liese & Vajda (2006 )). $f(t)$ $f(t)$

Divergens	Generativ funktion $f(t)$
Kullback-Leibler divergens	$t\ln t$
Omvendt Kullback-Leibler divergens	$-\ln t$
Hellinger afstand i kvadrat	${\frac {1}{2}}({\sqrt {t}}-1)^{2},\,1-{\sqrt {t}},\,t-{\sqrt {t } }}$
Fuld variation afstand	${\frac {1}{2}}\|t-1\|\,$
Pearson afstand $\chi ^{2}$	$(t-1)^{2},\,t^{2}-1,\,t^{2}-t$
Neumann afstand $\chi ^{2}$	${\frac {1}{t}}-1,\,{\frac {1}{t}}-t$
Alfa divergens	${\begin{cases}{\frac {4}{1-\alpha ^{2}}}{\big (}tt^{(1+\alpha )/2}{\big )},& {\tekst{if}}\ \alpha \neq \pm 1,\\t\ln t,&{\text{if}}\ \alpha =1,\\-\ln t,&{\text{if }}\ \alpha =-1\end{cases}}$
Alfa divergens (andre notationer)	${\begin{cases}{\frac {t^{\alpha }-t}{\alpha (\alpha -1))),&{\text{if))\ \alpha \neq 0,\ ,\alpha \neq 1,\\t\ln t,&{\text{if}}\ \alpha =1,\\-\ln t,&{\text{if}}\ \alpha =0\end {cases}}$

Egenskaber

Ikke-negativitet : ƒ -divergensen er altid ikke-negativ og er kun nul, hvis fordelingerne og er ens. Dette følger direkte af Jensens ulighed : $P$ $Q$ $D_{f}(P\!\parallel \!Q)=\int _{\Omega }\!f{\bigg (}{\frac {dP}{dQ}}{\bigg )}dQ\ geq f{\bigg (}\int _{\Omega }{\frac {dP}{dQ}}dQ{\bigg )}=f(1)=0.$
Monotonicitet : hvis er en vilkårlig overgangssandsynlighed, der tager foranstaltningerne og henholdsvis til og , så $\kappa$ $P$ $Q$ ${\displaystyle P_{\kappa ))$ ${\displaystyle Q_{\kappa ))$ $D_{f}(P\!\parallel \!Q)\geq D_{f}(P_{\kappa }\!\parallel \!Q_{\kappa }).$ Ligestilling finder her sted, hvis og kun hvis overgangen er genereret af en tilstrækkelig statistik mhp . ${\displaystyle \{P,Q\))$
Ledkonveksitet : for evt $0\leq \lambda \leq 1$ $D_{f}{\Big (}\lambda P_{1}+(1-\lambda )P_{2}\parallel \lambda Q_{1}+(1-\lambda )Q_{2}{\ Big )}\leq \lambda D_{f}(P_{1}\!\parallel \!Q_{1})+(1-\lambda )D_{f}(P_{2}\!\parallel \!Q_ {2}).$ Dette følger af konveksiteten af kortlægningen på . $(p,q)\mapsto qf(p/q)$ ${\displaystyle \mathbb {R} _{+}^{2))$
Selvdualitet : hvis er en f -divergens, så er det også en f -divergens, dvs. klassen af f -divergenser indeholder både direkte og omvendte (dobbelte) divergenser. Virkelig, $D(P\parallel Q)$ $D(Q\parallel P)$ ${D^{*}}_{f}(P\parallel Q){\stackrel {\mathrm {df} }{\;=\;}}D_{f}(Q\parallel P)=\ int _{\Omega }f\left({\frac {dQ}{dP}}\right)dP=\int _{\Omega }f^{*}\left({\frac {dP}{dQ}} \right)dQ=D_{f^{*}}(P\parallel Q),$ hvor er den dobbelte genereringsfunktion. Det er let at se, at , er kontinuerlig (undtagen måske for punktet ) og næsten overalt på grund af konveksiteten af , dvs. funktionen opfylder betingelserne for den genererende funktion af f -divergens. $f^{*}(t)=tf(1/t)$ $f^{*}(1)=f(1)=0$ $f^{*}(t)$ $t = 0$ ${f^{*}}''(t)={\frac {1}{t^{3}}}f''(1/t)\geq 0$ $t\geq 0$ $f$ $f^{*}(t)$

Under hensyntagen til den sidste egenskab kunne klassen af f -divergenser defineres tilsvarende som . En lignende definition findes for eksempel i Zhang (2004 ). Den fortolkning af fordelingen som sand, som følger af definitionen af f -divergens, er således ikke dens grundlæggende egenskab, men er kun en konsekvens af enigheden om rækkefølgen af argumenterne i definitionen. Med andre ord, argumenterne og er konceptuelt lige. ${D^{*}}_{f}(P\parallel Q)=\operatørnavn {E} _{P}f\left({\frac {dQ}{dP}}\right)$ $Q$ $P$ $Q$

Det er også værd at bemærke, at f -divergensen er en dimensionsløs størrelse , uanset størrelsen af mængden . $\Omega$

Relaterede begreber

Ud over f -divergens definerede I. Chisar det relaterede begreb f -entropi ( Csiszár (1972 )).

F-divergens

Definition

Særlige tilfælde af f -divergens

Egenskaber

Relaterede begreber

Links