UTF-8

UTF-8 (fra det engelske  Unicode Transformation Format, 8-bit  - "Unicode transformation format, 8-bit") er en almindelig tegnkodningsstandard, der giver dig mulighed for mere kompakt at lagre og transmittere Unicode-tegn ved hjælp af et variabelt antal bytes (fra 1 til 4) og er fuldt bagudkompatibel med 7-bit ASCII -kodning . UTF-8-standarden er formaliseret i RFC 3629 og ISO/IEC 10646 Annex D.

UTF-8-kodning er nu dominerende på webhotellet. Det har også fundet bred anvendelse i UNIX-lignende operativsystemer [2] .

UTF-8-formatet blev udviklet den 2. september 1992 af Ken Thompson og Rob Pike og implementeret i Plan 9 [3] . Windows kodnings-id er 65001 [4] .

UTF-8, sammenlignet med UTF-16 , giver den største gevinst i kompakthed for latinske tekster , da latinske bogstaver uden diakritiske tegn , tal og de mest almindelige tegnsætningstegn er kodet i UTF-8 med kun én byte, og koderne for disse tegn svarer til deres koder i ASCII . [5] [6]

Kodningsalgoritme

Kodningsalgoritmen i UTF-8 er standardiseret i RFC 3629 og består af 3 trin:

1. Bestem antallet af oktetter ( bytes ), der kræves for at kode et tegn. Tegnnummeret er taget fra Unicode-standarden.

For Unicode-tegn med tal fra U+0000til U+007F(optager én byte med nul i den mest signifikante bit), svarer UTF-8-kodningen fuldt ud til 7-bit US-ASCII-kodningen.

2. Indstil de høje bits for den første oktet i overensstemmelse med det nødvendige antal oktetter bestemt i det første trin:

• 0xxxxxxx - hvis der kræves en oktet til kodning;
• 110xxxxx - hvis der kræves to oktetter til kodning;
• 1110xxxx - hvis der kræves tre oktetter til kodning;
• 11110xxx - hvis der kræves fire oktetter til kodning.

Hvis der kræves mere end én oktet til kodning, er de to mest signifikante bit i oktetter 2-4 altid sat til 10 2 (10xxxxxx). Dette gør det nemt at skelne den første oktet i strømmen, fordi dens høje bits aldrig er 10 2 .

3. Indstil de signifikante bits af oktetterne til at matche Unicode -tegnnummeret udtrykt i binært. Start udfyldning fra de lave bits af tegnnummeret, læg dem i de lave bits af den sidste oktet, fortsæt fra højre mod venstre til den første oktet. De frie bits af den første oktet, der forbliver ubrugte, er fyldt med nuller.

Kodningseksempler

UTF-8 markør

For at angive, at en fil eller stream indeholder Unicode-tegn, kan der indsættes et byte ordensmærke ( BOM ) i begyndelsen af ​​filen eller streamen , som , når den er kodet i UTF-8, har form af tre bytes: .  EF BB BF16

Femte og sjette byte

I starten tillod UTF-8-kodning op til seks bytes at kode et enkelt tegn, men i november 2003 forbød RFC 3629 brugen af ​​den femte og sjette byte, og rækken af ​​kodede tegn var begrænset til tegnet U+10FFFF. Dette blev gjort for at sikre kompatibilitet med UTF-16.

Mulige afkodningsfejl

Ikke hver sekvens af bytes er gyldig. En UTF-8-dekoder skal forstå og håndtere sådanne fejl korrekt:

• Ugyldig byte.
• Fortsættelsesbyte (10xxxxxx) uden startbyte.
• Manglen på det nødvendige antal bytes for at fortsætte 10xxxxxx - for eksempel to efter 1110xxxx).
• Linjen brydes midt i en karakter.
• Uøkonomisk kodning - for eksempel indkodning af et tegn med tre bytes, når to er mulige. (Der er en ikke-standard UTF-8-variant, der koder tegnet med kode 0 som 1100.0000 1000.0000, der adskiller det fra end-of-line-tegnet 0000.0000.)
• En sekvens af bytes, der afkoder til en ugyldig kodeposition (f.eks. tegn i UTF-16 surrogatpar ).

Noter

1. ↑ https://www.cl.cam.ac.uk/~mgk25/ucs/utf-8-history.txt
2. ↑ Usage Statistics of Character Encodings for Websites, juni  2011
3. ↑ Arkiveret kopi (link ikke tilgængeligt) . Hentet 27. februar 2007. Arkiveret fra originalen 1. marts 2011.  (ubestemt)   (Engelsk)
4. ↑ Kodesideidentifikatorer - Windows-applikationer | Microsoft docs . Hentet 14. juli 2018. Arkiveret fra originalen 16. juni 2019. (ubestemt)
5. ↑ Nå, jeg er tilbage. Strengteori . _ Robert O'Callahan (1. marts 2008). Hentet 1. marts 2008. Arkiveret fra originalen 23. august 2011.  
6. ↑ Rostislav Chebykin. Alle kodninger kodning. UTF-8: moderne, kompetent, praktisk. . HTML og CSS . Hentet 22. marts 2009. Arkiveret fra originalen 23. august 2011.  (ubestemt)

Links

• UTF-8-kodningstabel og Unicode-tegn
• UTF-8: Kodning og afkodning
• UTF-8, UTF-16, UTF-32 & BOM spørgsmål og svar
• Kompatibilitetskodningsskema for UTF-16: 8-bit (CESU-8)
• Fuldstændig beskrivelse af Unicode-standarden
• UTF-8 Everywhere Manifest
• RFC-3629 "UTF-8, et transformationsformat af ISO 10646"