Informationskriterium

Informationskriterium er et mål for den relative kvalitet af økonometriske (statistiske) modeller anvendt i økonometri (statistik), under hensyntagen til graden af "tilpasning" af modellen til dataene med en justering (straf) for antallet af anvendte estimerede parametre . Det vil sige, at kriterierne er baseret på et eller andet kompromis mellem modellens nøjagtighed og kompleksitet. Kriterierne er forskellige i, hvordan de opnår denne balance.

Kriteriernes informationsmæssige karakter er forbundet med begrebet informationsentropi og Kullback-Leibler-afstanden , på grundlag af hvilke det historisk første kriterium blev udviklet - Akaike-kriteriet (AIC) , foreslået i 1974 af Hirotsugu Akaike [1] .

Informationskriterier bruges udelukkende til at sammenligne modeller med hinanden, uden en meningsfuld fortolkning af værdierne af disse kriterier. De tillader ikke testmodeller i betydningen at teste statistiske hypoteser. Typisk er det sådan, at jo lavere kriterieværdierne er, jo højere er modellens relative kvalitet.

Akaike Information Criteria (AIC)

Foreslået af Hirotugu Akaike i 1971, beskrevet og studeret af ham i 1973, 1974, 1983. Oprindeligt blev forkortelsen AIC, foreslået af forfatteren, dechifreret som " et informationskriterium " ("et bestemt informationskriterium"), men efterfølgende forfattere kaldte det Akaike informationskriterium n. Den oprindelige beregningsformel for kriteriet har formen:

AIC=2k-2l

hvor er værdien af den logaritmiske sandsynlighedsfunktion af den konstruerede model, er antallet af brugte (estimerede) parametre. $l$ $k$

Mange moderne forfattere, såvel som i mange økonometriske softwareprodukter (for eksempel i EViews), bruger en lidt anderledes formel, som involverer at dividere med stikprøvestørrelsen , ifølge hvilken modellen blev bygget: $n$

AIC=2k/n-2l/n

Denne tilgang gør det muligt at sammenligne modeller estimeret fra prøver af forskellige størrelser.

Jo mindre kriterieværdien er, jo bedre er modellen. Mange andre kriterier er ændringer af AIC.

Bayesian Information Criterion (BIC) eller Schwartz Criterion (SC)

Bayesiansk informationskriterium (BIC) blev foreslået af Schwartz i 1978, så det kaldes ofte også Schwarz-kriteriet (SC). Det blev udviklet baseret på den Bayesianske tilgang og er den mest almindeligt anvendte modifikation af AIC:

BIC=SC=k\ln n-2l

Som det kan ses af formlen, pålægger dette kriterium en større straf for stigningen i antallet af parametre sammenlignet med AIC, da mere end 2 allerede med 8 observationer $\ln n$

Andre informationskriterier

Konsistent AIC (CAIC) kriteriet foreslået i 1987 af Bozdogan:

CAIC=(1+\ln n)k-2l

Dette kriterium svarer asymptotisk til . Samme forfatter foreslog i 1994 ændringer, der øger koefficienten med antallet af parametre (i stedet for 2 - 3 eller 4 for og ). $BIC$ ${\displaystyle AIC_{3))$ ${\displaystyle AIC_{4))$

Den korrigerede Akaike-test (Corrected AIC- ), som anbefales til brug på små prøver (foreslået i 1978 af Sugiura): $AIC_{c}$

AIC_{c}=AIC+{\frac {2k(k+1)}{nk-1))

Hannan-Quinn (HQ) testen blev foreslået af forfatterne i 1979

HQ=2k\ln \ln n/n-2l/n

Dette kriterium, sammen med AIC og BIC, er udstedt i evalueringen af modeller med diskrete og begrænsede afhængige variabler i EViews.

Der er også AIC-modifikationer, der bruger mere komplekse straffunktioner, der afhænger af Fisher-oplysninger og andre karakteristika.

Informationskriterier i særlige tilfælde

I et særligt tilfælde af klassisk normal lineær regression er log-sandsynlighedsfunktionen lig med

l=-n/2(1+\ln 2\pi +\ln {\hat {\sigma }}^{2})

hvor er et konsistent estimat (metode med maksimal sandsynlighed) af variansen af modellens tilfældige fejl, svarende til forholdet mellem summen af kvadraterne af residualerne og stikprøvestørrelsen. ${\hat {\sigma }}^{2}$

Ved at substituere værdien af log-sandsynlighedsfunktionen i AIC-formlen (dividet med stikprøvestørrelsen), samt ikke at tage hensyn til de konstante led 1 og (da de ikke påvirker resultatet ved sammenligning af modeller), får vi følgende formel: $\ln 2\pi$

AIC=2k/n+\ln {\hat {\sigma }}^{2}

Egenskaber

Anvendelsen af forskellige kriterier kan føre til valg af forskellige modeller. I mange værker sammenlignes disse kriterier, men der er ingen endelig konklusion om præferencen af et eller andet kriterium. Derfor giver softwareprodukter normalt mindst to kriterier (AIC, BIC), for nogle modeller også et tredje (HQ). Det er kendt, at for autoregressive modeller overvurderer AIC-kriteriet modellens rækkefølge, det vil sige, at estimeringen af modellens rækkefølge baseret på dette kriterium er uholdbar. Et konsekvent kriterium for at vælge rækkefølgen af en autoregressiv model er BIC.

Litteratur

Grasa, Antonio Aznar (1989) Econometric Model Selection: A New Approach, Kluwer.
Greene, William H. (1997) Econometric Analysis, 3. udgave, Prentice-Hall.