Calgary Corpus

Calgary-korpus er et sæt tekst- og binære filer, der ofte bruges som en standardtest af datakomprimeringsalgoritmer og sammenligner deres ydeevne. Sættet blev samlet på University of Calgary i 1987 og blev meget brugt i 1990'erne. I 1997 blev der foreslået et nyt testsæt , Canterbury corpus [1] , der tog højde for nogle bekymringer om Calgary-korpusets repræsentativitet [2] .

Korpsets sammensætning

I sin mest brugte form består Calgary-korpuset af 14 filer på i alt 3.141.622 bytes:

Mindre almindeligt anvendt er et sæt på 18 filer, som desuden indeholder 4 tekstfiler i "troff"-formatet - PAPER3-PAPER6.

Test

Calgary-sagen blev ofte brugt til at sammenligne kompressionseffektivitet i 1990'erne. Resultaterne blev ofte rapporteret som bits pr. byte (det gennemsnitlige antal bits i en komprimeret fil, der kræves for at kode 1 byte af kildefilen) for hver fil i sættet, hvorefter gennemsnittet blev beregnet. Så begyndte de oftere at angive den samlede størrelse af alle komprimerede filer.

Nogle arkivere tillod mere effektiv komprimering, når de behandlede hele kroppen på én gang (for eksempel ved at lægge dem i en ukomprimeret tjærebeholder ), ved at bruge gensidig information . Andre arkivere komprimerer tværtimod denne mulighed værre på grund af kompressorens langsomme reaktion på ændringer i datakarakteristika. Samtidig komprimering af hele korpuset blev brugt af Matt Mahoney i hans bog Data Compression Explained [3] .

Tabellen viser dimensionerne af den komprimerede sag for flere populære arkivere.

Kompressionskonkurrencer

Den 21. maj 1996 startede Leonid A. Broukhis " Calgary corpus Compression and SHA-1 crack Challenge " [4] , som indeholdt en Calgary skrogkompressionskonkurrence med små pengepræmier. Efter 2010 er præmien $1 for hver yderligere reduktion på 111 bytes i den komprimerede fil.

Ifølge vilkårene for konkurrencen skal ikke kun inputfilerne til korpuset komprimeres, men også programmet til deres dekomprimering. For at gøre dette komprimeres først body-filerne, derefter komprimeres de resulterende filer og udpakkeren af ​​en af ​​de meget brugte arkiveringsprogrammer. Grænser for kompressionstid og mængden af ​​brugt hukommelse ændrer sig gradvist, og efter 2010 er det acceptabelt at arbejde i 24 timer på en computer med en ydeevne på 2000 MIPS ( Windows eller Linux OS ) og bruge op til 800 MB RAM. Senere blev en konkurrence med SHA-1 tilføjet : udpakkeren kan ikke oprette den originale fil fra korpuset, men en anden, men med den samme kryptografiske hash-sum i henhold til SHA-1-algoritmen (det er således påkrævet at udføre et kollisionsfindende angreb for en given fil).

Malcolm Taylor, forfatter til RK- og WinRK-arkiverne, vandt førstepræmien ved at komprimere sættet til 759881 bytes (september 1997). Den sidste pris blev uddelt den 2. juli 2010 af Alexander Ratushnyak , efter at have komprimeret sættet til 572465 bytes og ved hjælp af en C++-dekomprimerer komprimeret til 7700 bytes ved hjælp af "PPMd var. I". Fuld liste over rekorder i konkurrencen:

Noter

1. ↑ Ian H. Witten, Alistair Moffat, Timothy C. Bell. Håndtering af Gigabytes: Komprimering og indeksering af dokumenter og  billeder . - Morgan Kaufmann , 1999. - S. 92.
2. ↑ Salomon, David. Datakomprimering: Den komplette reference  (neopr.) . — Fjerde. - Springer, 2007. - S. 12. - ISBN 9781846286032 .
3. ↑ Forklaret datakomprimering
4. ↑ Kompression/SHA-1-udfordringen

Se også

• Schlesien