SeLU (Redes Neuronales)

Gráfica de la función de activación SeLU

SeLU (Scaled Exponential Linear Unit) es una función de activación diseñada para inducir la auto normalización en redes neuronales. Es decir, a medida que las activaciones de este tipo se propagan a través de las capas de la red, comienzan a converger a una media cero y varianza uno.[1]​

Fórmula

La función de activación SeLU se define como:

${\displaystyle SeLU(x)=\lambda {\begin{cases}\alpha e^{x}-\alpha ,&{\text{si }}x\leq 0\\x,&{\text{si }}x>0\ \end{cases}}}$

donde los valores de α y λ se obtienen al resolver ecuaciones de punto fijo.

Condiciones para utilizar la función SeLU

La función de activación SeLU debe tener:

1. Valores negativos y positivos para controlar la media.
2. Derivadas cercanas a cero para reducir la varianza si es demasiado grande en las capas inferiores.
3. Una pendiente mayor que uno para aumentar la varianza si es demasiado pequeña en las capas inferiores.
4. Una curva continua.[2]​

Diferencias contra otras funciones de activación

ReLU

La función ReLU es una función de activación no linear fácil de implementar.

${\displaystyle ReLU(x)={\begin{cases}0,&{\text{si }}x\leq 0\\\ x,&{\text{si }}x>0\end{cases}}}$

Por un lado, la función ReLU tiene un menor costo computacional y es más fácil de usar y entender. No obstante, la función SeLU no puede “morir” gracias a que el exponente añadido permite valores negativos.

ELU

La función ELU es una función de activación que tiene un comportamiento exponencial para entradas negativas.

${\displaystyle ELU(x)={\begin{cases}\alpha e^{x}-\alpha ,&{\text{si }}x\leq 0\\x,&{\text{si }}x>0\end{cases}}}$

A diferencia de la SELU, la función de activación ELU es más simple y tiene un menor costo computacional. Sin embargo, la actualización constante de valores negativos hace que la función SeLU sea más precisa ya que la red aprende más rápido. De igual manera, la función ELU carece del factor de escala λ.[3]​[4]​

SeRLU

A diferencia de la SeLU, que crece de manera monótona, la SERLU tiene una función en forma de montículo formulada como ${\displaystyle xe^{-x}}$.  La función con forma de montículo asegura que SERLU tenga una respuesta insignificante para entradas negativas grandes, mientras que la SELU tiene respuestas negativas constantes para estas entradas.[5]​

Ventajas y Desventajas

Ventajas

• No es necesario utilizar la normalización de Batch, ni ningún otro tipo de normalización, ya que se asegura de que la varianza y la media se mantenga estable a lo largo de la red.
• Se puede utilizar en clasificación binaria y multiclase.
• Ayuda con problemas de gradientes.

Desventajas

• Funciona mejor con una combinación específica de inicialización de pesos, lograda mediante el método de inicialización normal de LeCun, por lo que otros métodos podrían no producir los resultados esperados.
• Al ser una función relativamente reciente y menos común que otras funciones de activación, su investigación resulta más compleja.[6]​

Referencias

1. Klambauer, Günter; Unterthiner, Thomas; Mayr, Andreas (September 7th, 2017). «Self-Normalizing Neural Networks». 
2. Huang, Zhen; Ng, Tim; Liu, Leo; Mason, Henry; Zhuang, Xiaodan; Liu, Daben (March 23th, 2020). «SNDCNN: SELF-NORMALIZING DEEP CNNs WITH SCALED EXPONENTIAL LINEAR UNITS FOR SPEECH RECOGNITION». 
3. Marchisio, Alberto; Hanif, Muhammad Abdullah; Rehman, Semeen; Martina, Maurizio; Shafique, Muhammad (October 27th, 2018). «A Methodology for Automatic Selection of Activation Functions to Design Hybrid Deep Neural Networks». 
4. Nguyen, Anh; Pham, Khoa; Ngo, Dat; Ngo, Thanh; Pham, Lam (April 5th, 2021). «An Analysis of State-of-the-art Activation Functions For Supervised Deep Neural Network». 
5. Zhang, Guoqiang; Li, Haopeng (July 27th, 2018). «Effectiveness of Scaled Exponentially-Regularized Linear Units (SERLUs)». ARXIV. 
6. Upasani, Tanmay (22 de septiembre de 2024). «SeLU: Why and why not?». Medium (en inglés). Consultado el 23 de noviembre de 2024.