Model d'espai vectorial
Es conéix com a model d'espai vectorial a un model algebraic utilisat per a filtrat, recuperació, indexat i càlcul de rellevància d'informació. Representa documents en llenguage natural d'una manera formal per mig de l'us de vectors (d'identificadors, per eixemple térmens de busca) en un espai llineal multidimensional. Va ser usat per primera volta pel sistema SMART de recuperació d'informació.
Moltes de les tasques de recuperació d'informació com la busca, agrupamiento o categorisació de texts tenen com a primer objectiu processar documents en llenguage natural. El problema que sorgix és que els algoritmes que pretenen resoldre estes tasques necessiten representacions internes explícites dels documents. En l'àrea de recuperació d'informació normalment s'usa una expressió vectorial, a on les dimensions del vector representen térmens, frases o conceptes que apareixen en el document. En este aspecte la representació més adoptada és la coneguda com a bossa de paraules: una colecció de documents composta per n documents indexats i m térmens representats per una matriu documente-terme de n x m. A on els n vectores rengló representen els n documents; i el valor assignat a cada component reflectix l'importància o freqüència ponderada que produïx el terme, frase o concepte ti en la representació semàntica del documente j.
A on m és la cardinalidad del diccionari (una llista de térmens únics que apareixen en un conjunt de documents) i representa la contribució del terme ti per a la representació semàntica del documente dj.
En esta representació vectorial de documents l'èxit o fracàs es basa en la ponderació o pes dels térmens. Encara que hi ha hagut molta investigació sobre tècniques de ponderació de térmens, en realitat no hi ha un consens sobre quin método és el millor. També cal destacar que l'espai de renglons de la matriu documente-terme determinen el contingut semàntic de la colecció de documents. No obstant, una combinació llineal de dos vectores-documente no representa necessàriament un document viable de la colecció. Més important encara, per mig del model espai vectorial es poden explotar les relacions geomètriques entre dos vectores document (i térmens) a fi d'expressar les similituts i diferències entre térmens.
Si ben el rendiment d'un sistema de recuperació d'informació depén en gran mida de les mides de similitut entre documents, la ponderació de térmens eixercita un paper fonamental per a que eixa similitut entre documents siga més confiable. Aixina, per eixemple, mentres que una representació de documents basada solament en les freqüències o aparicions de térmens no és capaç de representar adequadament el contingut semàntic dels documents, la representació de térmens ponderats (Aplicació de métodos de normalisació a la matriu documente-terme) fa front a errors o incertituts associades a la representació simple de documents.
Construcció
Una colecció de n documents indexats per m térmens pot ser representada per una matriu A de dimensió n x m, a on cada element aij és usualment definit per una freqüència ponderada del terme i en el document j l'objectiu principal de la qual és millorar el rendiment en la recuperació d'informació; entenent com a rendiment l'habilitat de recuperar informació rellevant i descartar informació irrellevant. La següent figura (vore figura 1) mostra una matriu documente-terme simple, a on cada columna representa un terme en la colecció, cada rengló un document i cada cela o element de la matriu l'ocurrència del terme en el document.
| Terme 1 | Terme 2 | Terme 3 | |
|---|---|---|---|
| Document 1 | 1 | 0 | 0 |
| Document 2 | 0 | 0 | 1 |
| Document 3 | 1 | 1 | 1 |
| Document 4 | 0 | 1 | 0 |
Figura 1 – Matriu documente-terme simple
En ella podem vore que el terme 1 apareix en el document 1 i 3, pero no en els atres dos docu-mentos. Es demostra aixina que cada rengló de la matriu de 4×3 pot ser representat en un espai de tres dimensions.
Cada element aij de la matriu documente-terme A queda definit com
a on lij és el pes local del terme i en el document j, el qual medix l'importància de dit terme en el document, gi el pes global del terme i en la colecció de documents i dj és el factor de normalisació per al j-ésimo document. Els següents apartats contenen les fòrmules més populars usades en sistemes d'indexat automàtic. Usualment els components principals són el factor terme-frecuencia (TF) i el factor de freqüència inversa del document, inverse document frequency (IDF).
Pes local
El pes local medix l'importància del terme i en el document j i solament depén de les freqüències en el document i no d'atres documents.
Pes global
Són aquelles que prenen informació de la colecció de documents per a obtindre el pes d'un terme en un document
Normalisació
Llimitacions del model d'espai vectorial
El model d'espai vectorial té les següents llimitacions:
- Els documents llarcs queden poc representats ya que contenen pocs valors en comú (un producte escalar menor i una gran dimensionalidad)
- Les paraules de busca deuen coincidir en les paraules del document, parts d'una paraula poden donar en falsos positius.
- Sensibilitat semàntica, documents en contexts similars pero en diferent vocabulari no seran associats, resultant en falsos negatius
Bibliografia
- G. Salton, A. Wong, and C. S. Yang (1975), "A Vector Space Model for Automatic Indexing," Communications of the ACM, vol. 18, nr. 11, pages 613–620. (The artícul in which the vector space model was first presented)
- Descripció del model d'espai vectorial
- Descripció del model d'espai vectorial basat en tòpics
- Descripció del model d'espai vectorial clàssic per Dr I García
Vore també
- Este artícul conté una traducció derivada de «Modelo de espacio vectorial» de Wikipedia en castellà publicada baix la Llicència de documentació lliure de GNU i la Llicència Creative Commons Reconeiximent-CompartirIgual 4.0 Internacional.