Gennemsnitlig omvendt rang

Inverse Mean Rank (MRR) er en statistisk evaluering af en process svar på anmodninger, sorteret efter sandsynlighed og korrekthed. Karakteriserer effektiviteten af ​​informationssøgning . Invers rang betyder i dette tilfælde den gensidige af antallet (rangen) af det første rigtige svar på listen over svar. Den gennemsnitlige inverse rangering er defineret som gennemsnittet af de omvendte rangeringer over alle forespørgsler Q: [1]

hvor betyder positionen af ​​det første relevante dokument til forespørgsel i .

Den reciproke af den gennemsnitlige omvendte rangorden svarer til den harmoniske middelværdi mellem rækkerne.

Eksempel

Overvej tre forespørgsler, der oversætter russiske ord fra ental til genitiv flertal. I alle tilfælde af dette eksempel gør systemet tre forsøg, de første forsøg anses af systemet for at være de mest korrekte:

Anmodning Svar Rigtigt svar Rang omvendt rang
poker poker, poker, poker poker 3 1/3
hits hit, hit , hit hit 2 1/2
Turk Tyrkere , tyrkere, tyrkere Turk en en

Ud fra disse eksempler beregner vi den gennemsnitlige inverse rang som (1/3 + 1/2 + 1)/3 = 11/18, hvilket er cirka 0,61.

Hvis ingen af ​​svarene er rigtige, anses den gennemsnitlige omvendte rangorden for at være 0. Bemærk, at kun det første relevante svar tages i betragtning, og efterfølgende relevante svar ignoreres.

Se også

Links

Noter

  1. ↑ E. M. Voorhees (1999). "Proceedings of the 8th Text Retrieval Conference". TREC-8 Spørgsmål besvare sporrapport . pp. 77-82.
  2. ↑ D. R. Radev, H. Qi, H. Wu, W. Fan (2002). Evaluering af webbaserede spørgsmålsbesvarelsessystemer . LREC's sager.