Rang reciproc mediu

Rangul mediu reciproc (MRR) este un indice statistic pentru a evalua un proces care produce o listă de răspunsuri posibile la o interogare, ordonată în funcție de probabilitatea de corectitudine.

Definiție

Reciprocul rangului unui răspuns la o interogare este inversul poziției (rangului) primului răspuns corect din lista ordonată de răspunsuri. MRR este media clasamentului reciproc al rezultatelor pentru un set de întrebări Q ^[1] :

Formula

{\text{MRR}}={\frac {1}{|Q|}}\sum _{i=1}^{Q}{\frac {Relevance\_Label\_Value}{{\text{rank}}_{i}}}.

{\ displaystyle {\ text {MRR}} = {\ frac {1} {| Q |}} \ sum _ {i = 1} ^ {Q} {\ frac {Relevance \ _Label \ _Value} {{\ text { rang}} _ {i}}}.}

{\ displaystyle {\ text {MRR}} = {\ frac {1} {| Q |}} \ sum _ {i = 1} ^ {Q} {\ frac {Relevance \ _Label \ _Value} {{\ text { rang}} _ {i}}}.}

Exemplu

De exemplu, să presupunem că avem următoarele trei interogări pentru un sistem care încearcă să traducă cuvintele în engleză în pluralul lor. În orice caz, sistemul raportează trei rezultate posibile ordonate în funcție de probabilitatea de a fi corect:

Interogare	Rezultate	Răspuns corect	Rang	Rang reciproc
pisică	catten, cati, cats	pisici	3	1/3
torus	torii, tori , torusuri	tauri	2	1/2
virus	virusi , virii, viri	viruși	1	1

Acum puteți continua să calculați MRR: (1/3 + 1/2 + 1) / 3 = 11/18, adică

MRR = 0,61

Această definiție de bază nu specifică ce trebuie făcut dacă:

niciunul dintre rezultate nu este corect, în acest caz se utilizează rangul reciproc 0;
există mai multe răspunsuri corecte în listă, luați în considerare utilizarea preciziei medii medii (MAP).

Notă

^ EM Voorhees, TREC-8 Question Answering Track Report , Proceedings of the 8th Text Retrieval Conference , 1999, pp. 77-82.

Elemente conexe

^ DR Radev, H. Qi, H. Wu, W. Fan, Evaluarea sistemelor de răspuns la întrebări bazate pe web , Proceedings of LREC , 2002.

[1] EM Voorhees, TREC-8 Question Answering Track Report , Proceedings of the 8th Text Retrieval Conference , 1999, pp. 77-82.

[2] DR Radev, H. Qi, H. Wu, W. Fan, Evaluarea sistemelor de răspuns la întrebări bazate pe web , Proceedings of LREC , 2002.

[1]

[1]