Classificador bayesiano ingenu

Ret Naive-Bayes basada en un conjunt de senyes de 'corral'

En teoria de la provabilitat i mineria de senyes, un classificador Naive Bayes és un classificador provabilístic fonamentat en el teorema de Bayes i algunes hipòtesis simplificadoras adicionals. És a causa d'estes simplificació, que se solen resumir en l'hipòtesis d'independència entre les variables predictoras, que rep l'apelatiu de naive, és dir, ingenu.

Introducció

En térmens simples, un classificador de Naive Bayes assumix que la presència o absència d'una característica particular no està relacionada en la presència o absència de qualsevol atra característica, donada la classe variable. Per eixemple, una fruta pot ser considerada com una poma si és roja, redona i d'al voltant de 7 cm de diàmetro. Un classificador de Naive Bayes considera que cada una d'estes característiques contribuïx de manera independent a la provabilitat de que esta fruta siga una poma, independentment de la presència o absència de les atres característiques.

Per a atres models de provabilitat, els classificadors de Naive Bayes es poden entrenar de manera molt eficient en un entorn d'aprenentage supervisat. En moltes aplicacions pràctiques, l'estimació de paràmetros per als models Naive Bayes utilisa el método de màxim verosimilitut, en atres paraules, es pot treballar en el model de Naive Bayes sense acceptar provabilitat bayesiana o qualsevol dels métodos bayesianos.

Una ventaja del classificador de Naive Bayes és que solament es requerix una chicoteta cantitat de senyes d'entrenament per a estimar els paràmetros (les miges i les varianza de les variables) necessàries per a la classificació. Com les variables independents s'assumixen, solament és necessari determinar les varianza de les variables de cada classe i no tota la matriu d'covarianza.

Concepte Provabilístic

En abstracte, el model de provabilitat per a un classificador és

p (C | F_{1}, \dots, F_{n})

sobre una variable depenent $C$ , en un chicotet número de resultats (o classes). Esta variable està condicionada per vàries variables independents des de $F_{1}$ a $F_{n}$ . El problema és que si el número $n$ de variables independents és gran (o quan estes poden prendre molts valors), llavors basar este model en taules de provabilitat es torna impossible. Per lo tant el model es reformula per a fer-ho més manejable:

Usant la teorema de Bayes s'escriu:

p (C | F_{1}, \dots, F_{n}) = \frac{p (C) p (F_{1}, \dots, F_{n} | C)}{p (F_{1}, \dots, F_{n})} .

Lo anterior podria reescriure's en llenguage comú com:

P o s t e r i o r = \frac{A n t e r i o r \times P r o b a b i l i d a d}{E v i d e n c i a} .

En la pràctica solament importa el numerador, ya que el denominador no depén de $C$ i els valors de $F_{i}$ són senyes, per lo que el denominador és, en la pràctica, constant.

El numerador és equivalent a una provabilitat composta:

p (C, F_{1}, \dots, F_{n})

que pot ser reescrita com seguix, aplicant repetidament la definició de provabilitat condicional:

p (C, F_{1}, \dots, F_{n})

= p (C) p (F_{1}, \dots, F_{n} | C)

= p (C) p (F_{1} | C) p (F_{2}, \dots, F_{n} | C, F_{1})

= p (C) p (F_{1} | C) p (F_{2} | C, F_{1}) p (F_{3}, \dots, F_{n} | C, F_{1}, F_{2})

= p (C) p (F_{1} | C) p (F_{2} | C, F_{1}) p (F_{3} | C, F_{1}, F_{2}) p (F_{4}, \dots, F_{n} | C, F_{1}, F_{2}, F_{3})

... i aixina successivament. Ara és quan el supòsit "naïve" d'independència condicional entra en joc: s'assumix que cada $F_{i}$ és independent de qualsevol atra $F_{j}$ per a $j \neq i$ quan estan condicionades a $C$ . Açò significa que

p (F_{i} | C, F_{j}) = p (F_{i} | C)

per lo que la provabilitat composta pot expressar-se com

p (C, F_{1}, \dots, F_{n}) = p (C) p (F_{1} | C) p (F_{2} | C) p (F_{3} | C) \dots

= p (C) \prod_{i = 1}^{n} p (F_{i} | C) .

Açò significa que fent estos supòsits, la distribució condicional de $C$ sobre les variables clasificatorias pot expressar-se de la següent manera:

p (C | F_{1}, \dots, F_{n}) = \frac{1}{Z} p (C) \prod_{i = 1}^{n} p (F_{i} | C)

a on $Z$ és un factor que depén solament de $F_{1}, \dots, F_{n}$ , és dir, constant si els valors de $F_{i}$ són coneguts.

Vore també

Este artícul conté una traducció derivada de «Clasificador bayesiano ingenuo» de Wikipedia en castellà publicada baix la Llicència de documentació lliure de GNU i la Llicència Creative Commons Reconeiximent-CompartirIgual 4.0 Internacional.