Okapi BM25

Okapi BM25 és una funció de rànquing utilisada en Recuperació d'informació per a l'assignació de rellevància als documents en un buscador, dit d'una atra forma, és una funció que nos permet ordenar per rellevància els documents que contenen les paraules que l'usuari ha introduït en la caixa de busca d'un buscador com Google, Yahoo! o Live.

Esta funció està basada en els models provabilístics de Recuperació d'informació, concretament en el BIR (Binary Independent Retrieval) desenrollat per Stephen E. Robertson i Karen Spärck Jones en els anys 70.

El nom de Okapi ve del primer sistema que va implementar esta funció de rànquing, el qual va ser desenrollat per Stephen Walker en la City University de Londres

La funció de rànquing

BM25 es basa en el concepte de bossa de paraules per mig del com es representen els documents que desigem ordenar en funció de la seua rellevància en una consulta donada.

Donada una consulta $Q$, que conté les paraules clau $q1,\mathrm{...},qn$, el valor de rellevància assignat per mig de la funció BM25 per al documents $D$ serà:

$score(D,Q)=\sum _{i=1}^{n}IDF(q_i)\cdot \frac{f(q_i,D)\cdot (k_1+1)}{f(q_i,D)+k_1\cdot (1-b+b\cdot \frac{|D|}{avgdl})}$

a on $f(qi,D)$ és la freqüència d'aparició en el document $D$ dels térmens que apareixen en la consulta $Q$, $|D|$ és la llongitut del document $D$ (en número de paraules), i $avgdl$ és la llongitut mija dels documents en la colecció sobre la qual estem realisant la busca. $k1$ i $b$ són paràmetros que permeten ajustar la funció a les característiques concretes de la colecció en la que estem treballant. Encara que estos paràmetros solen dependre de les característiques concretes de cada colecció normalment s'assignen els valors $k1=2.0$ o $k1=1.2$ i $b=0.75$, els quals s'han establit a partir dels experiments que durant anys s'han realisat en les conferències TREC. $IDF(qi)$ és el pes IDF (inverse document frequency) de les paraules clau que apareixen en la consulta $Q$. Normalment el IDF es calcula per mig de la següent funció:

$IDF(q_i)=\log \frac{N-n(q_i)+0.5}{n(q_i)+0.5}$

a on $N$ és el número total de documents en la colecció, i $n(qi)$ és el número de documents que contenen la paraula clau $qi$.

Vore també

• Model d'espai vectorial
• Recuperació d'informació
• Implementació BM25 en Lucene [1]

Bibliografia

• A definitive guide to the TFxIDF variants, including BMxx variants, and the evolution of BM25
• “A probabilistic model of information retrieval: Development and comparative experiments: Part 1” (2000). Information Processing & Management 36 (6): 779–808. doi:10.1016/S0306-4573(00)00015-7.
• “A probabilistic model of information retrieval: Development and comparative experiments: Part 2” (2000). Information Processing & Management 36 (6): 809–840. doi:10.1016/S0306-4573(00)00016-9.
• “The Probabilistic Relevance Framework: BM25 and Beyond” 3 (4): 333–389. Found. Trends Inf. Retr.. doi:10.1561/1500000019.