Unidades recurrentes cerradas

Las unidades recurrentes cerradas (GRU, por sus siglas en inglés) son un mecanismo de compuerta en redes neuronales recurrentes, introducido en 2014 por Kyunghyun Cho et al.[1]​ La GRU es como una memoria a largo plazo (LSTM, por sus siglas en inglés) con un mecanismo de compuerta para introducir u olvidar ciertas características,[2]​ pero carece de vector de contexto o compuerta de salida, lo que resulta en menos parámetros que la LSTM.[3]​ El rendimiento de la GRU en determinadas tareas de modelado de música polifónica, modelado de señales de voz y procesamiento de lenguaje natural fue similar al de la LSTM.[4]​[5]​ Las GRU demostraron que la compuerta es útil en general, y el equipo de Bengio no llegó a ninguna conclusión concreta sobre cuál de las dos unidades de compuerta era mejor.[6]​[7]​

Arquitectura

Existen diversas variaciones de la unidad de compuerta completa, en la que la compuerta se realiza utilizando el estado oculto anterior y el sesgo en diversas combinaciones, y una forma simplificada denominada unidad de compuerta mínima.[8]​

El operador ${\displaystyle \odot }$ denota el producto Hadamard en lo siguiente:

Unidad totalmente cerrada

Inicialmente, para ${\displaystyle t=0}$, el vector de salida es ${\displaystyle h_{0}=0}$.

${\displaystyle {\begin{aligned}z_{t}&=\sigma (W_{z}x_{t}+U_{z}h_{t-1}+b_{z})\\r_{t}&=\sigma (W_{r}x_{t}+U_{r}h_{t-1}+b_{r})\\{\hat {h}}_{t}&=\phi (W_{h}x_{t}+U_{h}(r_{t}\odot h_{t-1})+b_{h})\\h_{t}&=(1-z_{t})\odot h_{t-1}+z_{t}\odot {\hat {h}}_{t}\end{aligned}}}$

Unidad Recurrente Cerrada, versión totalmente cerrada

Variables (${\displaystyle d}$ denota el número de características de entrada y ${\displaystyle e}$ el número de características de salida):

• ${\displaystyle x_{t}\in \mathbb {R} ^{d}}$: vector de entrada
• ${\displaystyle h_{t}\in \mathbb {R} ^{e}}$: vector de salida
• ${\displaystyle {\hat {h}}_{t}\in \mathbb {R} ^{e}}$: vector de activación candidato
• ${\displaystyle z_{t}\in (0,1)^{e}}$: actualizar el vector de puerta
• ${\displaystyle r_{t}\in (0,1)^{e}}$: resetear vector puerta
• ${\displaystyle W\in \mathbb {R} ^{d\times e}}$, ${\displaystyle U\in \mathbb {R} ^{e\times e}}$ and ${\displaystyle b\in \mathbb {R} ^{e}}$: matrices de parámetros y vectores que deben aprenderse durante el entrenamiento.

Funciones de activación

• ${\displaystyle \sigma }$: El original es una función logística.
• ${\displaystyle \phi }$: El original es una tangente hiperbólica.

Son posibles funciones de activación alternativas, siempre que: ${\displaystyle \sigma (x)\in [0,1]}$.

Tipo 1

Se pueden crear formas alternativas cambiando ${\displaystyle z_{t}}$ y ${\displaystyle r_{t}}$.[9]​

• Tipo 1, cada puerta depende sólo del estado oculto anterior y del sesgo.

  ${\displaystyle {\begin{aligned}z_{t}&=\sigma (U_{z}h_{t-1}+b_{z})\\r_{t}&=\sigma (U_{r}h_{t-1}+b_{r})\\\end{aligned}}}$

• Tipo 2, cada puerta depende sólo del estado oculto anterior.

  ${\displaystyle {\begin{aligned}z_{t}&=\sigma (U_{z}h_{t-1})\\r_{t}&=\sigma (U_{r}h_{t-1})\\\end{aligned}}}$

Tipo 2

• Tipo 3, cada puerta se calcula utilizando sólo el sesgo.

${\displaystyle {\begin{aligned}z_{t}&=\sigma (b_{z})\\r_{t}&=\sigma (b_{r})\\\end{aligned}}}$

Unidad mínima cerrada

Tipo 3

La unidad mínima cerrada (MGU) es similar a la unidad de compuerta completa, salvo que el vector de compuerta de actualización y reinicio se fusiona en una compuerta de olvido. Esto también implica que la ecuación para el vector de salida debe cambiarse:[10]​

${\displaystyle {\begin{aligned}f_{t}&=\sigma (W_{f}x_{t}+U_{f}h_{t-1}+b_{f})\\{\hat {h}}_{t}&=\phi (W_{h}x_{t}+U_{h}(f_{t}\odot h_{t-1})+b_{h})\\h_{t}&=(1-f_{t})\odot h_{t-1}+f_{t}\odot {\hat {h}}_{t}\end{aligned}}}$

Variables

• ${\displaystyle x_{t}}$: vector de entrada
• ${\displaystyle h_{t}}$: vector de salida
• ${\displaystyle {\hat {h}}_{t}}$: vector de activación candidato
• ${\displaystyle f_{t}}$: vector de olvido
• ${\displaystyle W}$, ${\displaystyle U}$ y ${\displaystyle b}$: matrices de parámetros y vector

Unidad recurrente ligera

La unidad recurrente activada por luz (LiGRU)[4]​ elimina la puerta de reinicio, sustituye tanh por la activación ReLU y aplica la normalización por lotes (BN):

${\displaystyle {\begin{aligned}z_{t}&=\sigma (\operatorname {BN} (W_{z}x_{t})+U_{z}h_{t-1})\\{\tilde {h}}_{t}&=\operatorname {ReLU} (\operatorname {BN} (W_{h}x_{t})+U_{h}h_{t-1})\\h_{t}&=z_{t}\odot h_{t-1}+(1-z_{t})\odot {\tilde {h}}_{t}\end{aligned}}}$

La LiGRU se ha estudiado desde una perspectiva bayesiana.[11]​ Este análisis dio lugar a una variante denominada unidad recurrente bayesiana ligera (LiBRU), que mostró ligeras mejoras sobre la LiGRU en tareas de reconocimiento del habla.

Referencias

1. Cho, Kyunghyun; van Merrienboer, Bart; Bahdanau, DZmitry; Bougares, Fethi; Schwenk, Holger; Bengio, Yoshua (2014). «"Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation".». Association for Computational Linguistics. 
2. Felix Gers; Jürgen Schmidhuber; Fred Cummins (1999). «Learning to forget: Continual prediction with LSTM".». 9th International Conference on Artificial Neural Networks: ICANN '99. ISBN 0-85296-721-7. doi:10.1049/cp:19991218. 
3. «Recurrent Neural Network Tutorial, Part 4 – Implementing a GRU/LSTM RNN with Python and Theano – WildML». web.archive.org. 10 de noviembre de 2021. Consultado el 9 de marzo de 2024. 
4. Ravanelli, Mirco; Brakel, Philemon; Omologo, Maurizio; Bengio, Yoshua (2018). «"Light Gated Recurrent Units for Speech Recognition"». IEEE Transactions on Emerging Topics in Computational Intelligence. doi:10.1109/TETCI.2017.2762739. 
5. Su, Yuahang; Kuo, Jay (2019). «"On extended long short-term memory and dependent bidirectional recurrent neural network"». Neurocomputing. doi:10.1016/j.neucom.2019.04.044. 
6. Chung, Junyoung; Gulcehre, Caglar; Cho, KyungHyun; Bengio, Yoshua (2014). Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling". 
7. Gruber, N.; Jockisch, A. (2020). «"Are GRU cells more specific and LSTM cells more sensitive in motive classification of text?». Frontiers in Artificial Intelligence. PMC 7861254. PMID 33733157. doi:10.3389/frai.2020.00040. 
8. Chung, Junyoung; Gulcehre, Caglar; Cho, KyungHyun; Bengio, Yoshua (2014). "Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling". 
9. Dey, Rahul; Salem, Fathi M. (2017). "Gate-Variants of Gated Recurrent Unit (GRU) Neural Networks". 
10. Heck, Joel; Salem, Fathi M. (2017). "Simplified Minimal Gated Unit Variations for Recurrent Neural Networks". 
11. Bittar, Alexandre; Garner, Philip N. (2021-06). «A Bayesian Interpretation of the Light Gated Recurrent Unit». ICASSP 2021 - 2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP): 2965-2969. doi:10.1109/ICASSP39728.2021.9414259. Consultado el 11 de marzo de 2024. 

• Datos: Q25325415