Funció Swish

Archiu:تابع swish.png

Gràfic de la funció swish

La funció swish és una funció matemàtica definida per la següent fòrmula:

$\mathrm{swish}(x):=x\times \mathrm{sigmoid}(\beta x)=\frac{x}{1+e^{-\beta x}}.$

A on β pot ser constant o un paràmetro entrenable segons el model. En el cas en que β=1, la funció és equivalent a la funció en ponderació sigmoide que s'usa en aprenentage de reforç (Sigmoid-weighted Linear Unit, SiL), mentres que per a β=0, swish es convertix en la funció llineal f(x)=x/2. En β→∞, el component sigmoideo s'acosta a una funció escaló unitari, per lo que swish tendix a la funció ReLU. Aixina, pot ser vista com una interpolació no llineal entre una funció llineal i la ReLU.

Aplicacions

En 2017, despuix d'actuar anàlisis en les senyes de ImageNet, investigadors de Google varen descobrir que utilisant la funció com una funció d'activació en rets neuronals artificials millora el rendiment, comparat a ReLU i funcions sigmoides. Es creu que una raó per a la millora és que la funció swish ajuda a aliviar el Problema de torba de gradient durant backpropagation.