Optimizadores
Descenso de gradiente puro
Actualiza los pesos restando el gradiente por la tasa de aprendizaje. Simple, pero con batches pequeños el gradiente es ruidoso y el camino zigzaguea; con tasa grande puede saltar de un lado a otro sin asentarse.
Estocasticidad del minibatch
- Usar un subconjunto por paso abarata el gradiente y da regularización implícita.
- El ruido ayuda a escapar de mínimos locales superficiales y puntos de silla.
- Demasiada tasa con ruido provoca oscilaciones alrededor del óptimo.
Momentum
Acumula una velocidad con inercia de gradientes pasados, amortiguando el zigzag en las laderas empinadas y acelerando en las direcciones constantes. Como una bola que rueda, suaviza el ruido y atraviesa mesetas.
Adaptar por parámetro
Los métodos adaptativos ajustan una tasa por peso según el historial de sus gradientes, acelerando direcciones raras y frenando las oscilantes. Esto ayuda cuando las dimensiones tienen escalas muy distintas.
Adam
Combina momentum con tasas adaptativas por parámetro y suele converger rápido con poca sintonía. Es el por defecto cómodo, aunque a veces un SGD bien afinado generaliza un poco mejor.
Planificar la tasa
Empezar con una tasa mayor y decaerla deja exploración inicial y refinamiento final. Calendarios y recocido de tasa ayudan a asentarse cerca del óptimo sin oscilar eternamente.
Elegir según problema
Adam brilla como punto de partida y en tareas con gradientes dispersos. Con tiempo para sintonizar, SGD con momentum puede rascar algo más de generalización. La tasa sigue siendo el hiperparámetro rey.
Errores frecuentes
- Subir la tasa de aprendizaje sin límite creyendo que así se converge antes, cuando provoca oscilación o divergencia.
- Usar siempre Adam por defecto sin probar SGD con momentum cuando el tiempo de sintonía permite mejor generalización.
- No planificar el decaimiento de la tasa y quedarse oscilando alrededor del óptimo sin asentarse.
Ejemplo resuelto: la red zigzaguea y no baja
La pérdida baja poco y oscila de un lado a otro en cada paso. Revisamos el optimizador y su tasa:
- Observar el camino en zigzag, señal de una tasa demasiado alta para el paisaje.
- Bajar la tasa de aprendizaje para reducir la oscilación transversal.
- Añadir momentum para acumular inercia y promediar el ruido del minibatch.
- Planificar un decaimiento que afine los pasos al acercarse al óptimo.
- Confirmar que la pérdida desciende suave y se asienta en el valle.
¿Para qué sirve en la realidad?
El gradiente dice la dirección, pero el optimizador y su tasa deciden si de verdad llegas al mínimo: es el hiperparámetro que más tiempo de entrenamiento ahorra o desperdicia.
El optimizador que combina una media móvil del gradiente (inercia) con tasas de aprendizaje por parámetro adaptativas es:
Subir la tasa de aprendizaje indefinidamente siempre acelera y mejora la convergencia.
Optimizadores
Ordena la evolución desde el método más simple al más sofisticado:
Gradiente
Minibatch
Momentum
Adam
Descenso estocástico de gradiente
Fundamento de SGD, minibatch y sus variantes adaptativas.
Une cada método con su idea clave.
Bajar la pendiente con criterio
# Optimizadores ## SGD ### simple ### ruido del minibatch ## Momentum ### inercia ### amortigua zigzag ## Adaptativo ### tasa por parámetro ### escala dimensiones ## Adam ### momentum más adaptativo ### por defecto cómodo
Descenso del gradiente en la Wikipedia
Fundamento matemático del descenso de gradiente y sus variantes.
Tu red con Adam pierde algo frente a SGD con momentum bien afinado en validación, pese a converger más rápido. ¿Qué compensación entre rapidez y generalización elegirías para un prototipo frente a un modelo final?