Funció SoftMax

En matemàtiques, la funció softmax, o funció exponencial normalisada, és una generalisació de la Funció llogística. S'ampra per a "comprimir" un vector K-dimensional, $𝐳$, de valors reals arbitraris en un vector K-dimensional,$\sigma (𝐳)$, de valors reals en el ranc [0, 1]. La funció està donada per:

$\sigma :{ℝ}^K\to [0,1{]}^K$

$\sigma (𝐳{)}_j=\frac{e^{z_j}}{\sum _{k=1}^K{e}^{z_k}}$    per a j = 1, …, K.

En teoria de la provabilitat, l'eixida de la funció softmax pot ser utilisada per a representar una distribució categòrica– la distribució de provabilitat sobre K diferents possibles eixides.

La funció softmax és amprada en varis métodos de classificació multiclase tals com Regressió Llogística Multinomial, anàlisis discriminante llineal multiclase, classificadors Bayesianos ingenus (naive Bayes), i Rets Neuronals Artificials.

Eixemple

Si el vector d'entrada és [1, 2, 3, 4, 1, 2, 3], la funció softmax retorna [0.024, 0.064, 0.175, 0.475, 0.024, 0.064, 0.175]. Es pot observar que el màxim valor del vector resultant està en la mateixa ubicació que el màxim valor del vector d'entrada. Per esta raó és que la funció softmax és típicament utilisada per a "filtrar" un conjunt de valors que es troben per baix d'un valor màxim establit.

En còdic Python:

>>> import math
>>> z = [1.0, 2.0, 3.0, 4.0, 1.0, 2.0, 3.0]
>>> z_exp = [math.exp(i) for i in z]
>>> print([round(i, 2) for i in z_exp])
[2.72, 7.39, 20.09, 54.6, 2.72, 7.39, 20.09]
>>> sum_z_exp = sum(z_exp)
>>> print(round(sum_z_exp, 2))
114.98
>>> softmax = [round(i / sum_z_exp, 3) for i in z_exp]
>>> print(softmax)
[0.024, 0.064, 0.175, 0.475, 0.024, 0.064, 0.175]

Rets Neuronals Artificials

La funció softmax és utilisada com a capa final dels classificadors basats en rets neuronals. Tals rets són comunament entrenades usant un règim d'entropía creuada, en lo que s'obté una variant no llineal de la regressió llogística multinomial.

Vore també

• Funció llogística
• Distribució de Dirichlet