Unitats recurrents tancades

Les unitats recurrents tancades (GRU, per les seues sigles en anglés) són un mecanisme de comporta en rets neuronals recurrents, introduït en 2014 per Kyunghyun Cho et al. La GRU és com una memòria a llarc determini (LSTM, per les seues sigles en anglés) en un mecanisme de comporta per a introduir o oblidar certes característiques, pero carix de vector de context o comporta d'eixida, lo que resulta en menys paràmetros que la LSTM. El rendiment de la GRU en determinades tasques de modelació de música polifònica, modelat de senyals de veu i processament de llenguage natural va ser similar a el de la LSTM. Les GRU varen demostrar que la comporta és útil en general, i l'equip de Bengio no va aplegar a cap conclusió concreta sobre quin de les dos unitats de comporta era millor.

Arquitectura

Existixen diverses variacions de l'unitat de comporta completa, en la que la comporta es realisa utilisant l'estat amagat anterior i el biaix en diverses combinacions, i una forma simplificada denominada unitat de comporta mínima.

L'operador $\odot$ denota el producte Hadamard en lo següent:

Unitat totalment tancada

Inicialment, per a $t=0$, el vector d'eixida és $h_0=0$.

$\begin{array}{cc}{z}_t& =\sigma (W_z{x}_t+U_z{h}_{t-1}+b_z)\\ r_t& =\sigma (W_r{x}_t+U_r{h}_{t-1}+b_r)\\ {\hat{h}}_t& =\varphi (W_h{x}_t+U_h(r_t\odot h_{t-1})+b_h)\\ h_t& =(1-z_t)\odot h_{t-1}+z_t\odot {\hat{h}}_t\end{array}$

Unitat Recurrent Tancada, versió totalment tancada

Variables ($d$ denota el número de característiques d'entrada i $e$ el número de característiques d'eixida):

• $x_t\in {ℝ}^d$: vector d'entrada
• $h_t\in {ℝ}^e$: vector d'eixida
• ${\hat{h}}_t\in {ℝ}^e$: vector d'activació candidat
• $z_t\in (0,1{)}^e$: actualisar el vector de porta
• $r_t\in (0,1{)}^e$: resetear vector porta

• $W\in {ℝ}^{d\times e}$, $U\in {ℝ}^{e\times e}$ and $b\in {ℝ}^e$: matrius de paràmetros i vectores que deuen deprendre's durant l'entrenament.

Funciones d'activació

• $\sigma$: L'original és una funció llogística.
• $\varphi$: L'original és una tangente hiperbòlica.

Són possibles funcions d'activació alternatives, sempre que: $\sigma (x)\in [0,1]$.

Tipo 1

Es poden crear formes alternatives canviant $z_t$ i $r_t$.

• Tipo 1, cada porta depén només de l'estat amagat anterior i del biaix.

  $\begin{array}{cc}{z}_t& =\sigma (U_z{h}_{t-1}+b_z)\\ r_t& =\sigma (U_r{h}_{t-1}+b_r)\\ \end{array}$

• Tipo 2, cada porta depén només de l'estat amagat anterior.

  $\begin{array}{cc}{z}_t& =\sigma (U_z{h}_{t-1})\\ r_t& =\sigma (U_r{h}_{t-1})\\ \end{array}$

Tipo 2

• Tipo 3, cada porta es calcula utilisant només el biaix.

$\begin{array}{cc}{z}_t& =\sigma (b_z)\\ r_t& =\sigma (b_r)\\ \end{array}$

Unitat mínima tancada

Tipo 3

L'unitat mínima tancada (MGU) és similar a l'unitat de comporta completa, llevat que el vector de comporta d'actualisació i reinicie es fusiona en una comporta d'oblit. Açò també implica que l'equació per al vector d'eixida deu canviar-se:

$\begin{array}{cc}{f}_t& =\sigma (W_f{x}_t+U_f{h}_{t-1}+b_f)\\ {\hat{h}}_t& =\varphi (W_h{x}_t+U_h(f_t\odot h_{t-1})+b_h)\\ h_t& =(1-f_t)\odot h_{t-1}+f_t\odot {\hat{h}}_t\end{array}$

Variables

• $x_t$: vector d'entrada
• $h_t$: vector d'eixida
• ${\hat{h}}_t$: vector d'activació candidat
• $f_t$: vector d'oblit
• $W$, $U$ i $b$: matrius de paràmetros i vector

Unitat recurrent llaugera

L'unitat recurrent activada per llum (LiGRU) elimina la porta de reinicie, substituïx tanh per l'activació ReLU i aplica la normalisació per lots (BN):

$\begin{array}{cc}{z}_t& =\sigma (\mathrm{BN}(W_z{x}_t)+U_z{h}_{t-1})\\ {\tilde{h}}_t& =\mathrm{ReLU}(\mathrm{BN}(W_h{x}_t)+U_h{h}_{t-1})\\ h_t& =z_t\odot h_{t-1}+(1-z_t)\odot {\tilde{h}}_t\end{array}$

La LiGRU s'ha estudiat des d'una perspectiva bayesiana. Este anàlisis va donar lloc a una variant denominada unitat recurrent bayesiana llaugera (LiBRU), que va mostrar llaugeres millores sobre la LiGRU en tasques de reconeiximent del parla.