Funciones de activación
Para qué sirve
Una transformación no lineal por capa permite aproximar funciones arbitrarias. Si todas las activaciones fueran lineales, apilar capas sería inútil: la composición de lineales sigue siendo lineal.
Sigmoide
Aplasta la salida entre cero y uno con forma de S. Histórica y útil en la capa de salida para probabilidades, pero se satura en los extremos: allí su gradiente tiende a cero y el aprendizaje se ralentiza.
Tangente hiperbólica
Como la sigmoide pero centrada en cero, saliendo entre menos uno y uno. Mejora el condicionamiento al dar medias cercanas a cero, aunque comparte la saturación en los extremos.
ReLU
- Es la identidad para positivos y cero para negativos, simple y rápida.
- No se satura en la zona positiva, así el gradiente fluye y el aprendizaje es veloz.
- Puede «morir»: una neurona siempre negativa deja de aprender para siempre.
Saturación y gradiente
Cuando una activación se aplana, el gradiente que la atraviesa se multiplica por un número cercano a cero capa tras capa y se extingue: el gradiente desapareciente congela las capas iniciales. Por eso las sigmoides sufren en redes profundas.
Variantes de ReLU
Leaky ReLU o paramétricas dejan pasar un poco de gradiente en la zona negativa para evitar neuronas muertas. GELU y otras suavizan la esquina, comunes en transformers modernos.
Elegir por capa
Como norma, ReLU o sus variantes para capas ocultas por su flujo de gradiente, y sigmoide o softmax en la salida cuando toca emitir una probabilidad. La salida sigue a la tarea, la oculta a la optimización.
Errores frecuentes
- Usar sigmoide o tanh en todas las capas ocultas de una red profunda y padecer el gradiente desapareciente.
- Creer que ReLU es siempre la mejor sin ver que puede dejar neuronas muertas por debajo de cero.
- Poner la activación de salida equivocada para la tarea, como un escalón donde toca una probabilidad.
Ejemplo resuelto: por qué se apaga una red con sigmoides
Una red de diez capas ocultas con sigmoide en todas apenas mejora tras muchas épocas. Diagnosticamos el flujo del gradiente:
- Observar que la sigmoide se aplana cerca de cero y de uno, con derivada casi nula.
- Recordar que el gradiente retropropagado es un producto de derivadas capa a capa.
- Multiplicar diez factores menores que uno y ver que el producto tiende a cero.
- Concluir que las primeras capas reciben un gradiente insignificante y no aprenden.
- Sustituir por ReLU en las ocultas, que deja pasar el gradiente entero en la zona positiva.
¿Para qué sirve en la realidad?
Elegir la activación es elegir cómo fluye la señal de aprendizaje: bien elegida la red profunda entrena; mal elegida se congela antes de empezar.
En una red profunda, usar sigmoide en todas las capas ocultas tiende a provocar que:
Una red compuesta solo por capas lineales, sin funciones de activación no lineales, puede aproximar cualquier función continua.
Activación
Ordena del gradiente más apagado al más fluido en la zona usada para aprender:
Sigmoide extrema
Tanh extremo
ReLU positiva
ReLU negativa con leak
Función de activación
Familias de activaciones y sus propiedades.
Une cada activación con su rasgo distintivo.
La no linealidad que enseña
# Funciones de activación ## Sigmoide y tanh ### forman S ### saturan en extremos ## ReLU ### rápida ### neuronas muertas ## Gradiente ### producto de derivadas ### se apaga o explota ## Salida ### sigmoide binaria ### softmax multiclase
Funciones de activación según IBM
Repaso de las activaciones más usadas y cuándo conviene cada una.
Tu red profunda se entrena muy lento y las primeras capas casi no cambian. ¿Qué activación sospechas y a cuál cambiarías? Razona por saturación y flujo de gradiente.