Absolut entropi af et sprog

Den absolutte entropi af et sprog er en værdi lig med den maksimale information , der kan transmitteres af en enhed af et givet sprog . I informationsteorien forstås en sprogenhed normalt som ét symbol (bogstav) i det tilsvarende alfabet, og den absolutte entropi beregnes under den betingelse, at alle sekvenser af symboler er lige sandsynlige.

Hvis et sprogs alfabet bruger forskellige bogstaver, kan sprogets absolutte entropi ( bits pr. bogstav) beregnes som: $L$

R=\log _{{2}}{L}

Denne værdi tager ikke højde for den mulige unudtale af de modtagne "ord".

For engelsk er denne værdi cirka 4,7 bit pr. bogstav. Denne værdi er meget større end sprogets faktiske entropi , da det engelske sprog, ligesom alle naturlige sprog, har redundans .

Litteratur

Schneier B. Kapitel 11. Matematiske grundlag. Entropi af sprog. // Anvendt kryptografi. Protokoller, algoritmer, kildekode i C-sprog = Applied Cryptography. Protokoller, algoritmer og kildekode i C. - M. : Triumf, 2002. - S. 269. - 816 s. - 3000 eksemplarer. - ISBN 5-89392-055-4 .