Trigram (tekstanalyse)

Trigrammer er et specialtilfælde af n-gram , hvor n er lig med 3. De bruges ofte i naturlig sprogbehandling til at udføre statistisk analyse af tekster, og i kryptografi til at kontrollere og udnytte ciphers og koder.

Frekvens

Kontekst er meget vigtig, variation i rækker og procenter af analyse kan let udledes af forskellige stikprøvestørrelser, forskellige forfattere; eller forskellige typer dokumenter: poesi, science fiction, teknologisk dokumentation; og skriveniveauer: historier for børn mod voksne, militære ordrer og opskrifter. [1] [2]

En typisk kryptoanalytisk frekvensanalyse viser, at de 16 mest almindelige tegnniveautrigrammer på engelsk er:

Placering [2] trigram Frekvens [3]
(Forskellige kilder)
en det 1,81 %
2 og 0,73 %
3 tha 0,33 %
fire ent 0,42 %
5 ing 0,72 %
6 ion 0,42 %
7 tio 0,31 %
otte til 0,34 %
9 nde
ti har
elleve nce
12 edt
13 tis
fjorten ofte 0,22 %
femten sth 0,21 %
16 Mænd

Fordi krypterede telegrafmeddelelser ofte udelader tegnsætning og mellemrum, inkluderer kryptografisk frekvensanalyse af sådanne meddelelser trigrammer, der krydser ordgrænser. Dette får trigrammer som "edt" til at forekomme hyppigt, selvom de måske aldrig forekommer i nogen af ​​ordene i disse meddelelser. [fire]

Eksempler

Sætningen " Den hurtige rødræv hopper over den dovne brune hund " har følgende trigrammer på ordniveau:

hurtig rød hurtig rød ræv rød ræv hoppe ræv hoppe over hoppe over over de dovne den dovne brune doven brun hund

Og trigrammet på ordniveau "den hurtige røde" har følgende trigrammer på tegnniveau (hvor understregningen "_" står for mellemrum):

det han_ e_q _qu qui uic ick ck_ k_r _re rød

Noter

  1. Linton, Tom Relative frekvenser af bogstaver i almindelig engelsk almindelig tekst . Central College (2001). Arkiveret fra originalen den 22. januar 2007.
  2. 12 Lewand , Robert. [ [1]  i " Google Books " Cryptological Mathematics]. - The Mathematical Association of America , 2000. - S. 37. - ISBN 978-0-88385-719-9 .
  3. Engelske bogstavfrekvenser . Praktisk kryptografi . Hentet 31. maj 2022. Arkiveret fra originalen 12. maj 2022.
  4. Stemmesøgning SEO . brændstof online . Hentet 31. maj 2022. Arkiveret fra originalen 25. september 2021.