Inicialización y normalización
Por qué importa el arranque
Si la varianza de la activación se mantiene constante capa a capa, la señal ni se desvanece ni revienta. Una inicialización pensada para ello evita el desaparecimiento y la explosión antes de la primera pasada.
Ni ceros ni demasiado grandes
- Cero iguala a todas las neuronas: ninguna aprende distinto, la simetría no se rompe.
- Valores enormes saturan las activaciones y disparan el gradiente.
- Aleatoriedad calibrada rompe la simetría con la escala justa.
Xavier o Glorot
Para activaciones simétricas como sigmoide o tanh, Xavier fija la varianza de los pesos en función del número de entradas y salidas de la capa, repartiendo señal equilibrada hacia delante y hacia atrás.
He para ReLU
Como ReLU anula la mitad de la señal, He duplica la varianza respecto a Xavier para compensar esa pérdida. Usar la inicialización acorde a la activación mantiene la varianza bajo control.
Normalización por lotes
Batch norm estandariza las entradas de cada capa dentro del lote —media cero, varianza uno— y luego las reajusta con parámetros aprendibles. Estabiliza la distribución interna y acelera el entrenamiento.
Efectos de la normalización
Al domesticar la escala de las activaciones, permite tasas de aprendizaje mayores, suaviza el paisaje de error y aporta un poco de regularización por el ruido del lote. También exige tratar bien el modo de inferencia.
Inferencia frente a entrenamiento
En inferencia no hay lote que promediar, así que batch norm usa estadísticas acumuladas del entrenamiento. Olvidar cambiar de modo corrompe las predicciones: la media del lote no existe al servir.
Errores frecuentes
- Inicializar los pesos en cero o con valores idénticos, dejando las neuronas simétricas e incapaces de especializarse.
- Usar Xavier con ReLU o He con tanh, descalibrando la varianza respecto a la activación de la capa.
- Olvidar el modo de inferencia en batch norm y servir con estadísticas del lote en vez de las acumuladas.
Ejemplo resuelto: por qué se dispara la señal al inicio
Una red profunda arranca con pesos demasiado grandes y la pérdida revienta en las primeras épocas. Revisamos el arranque:
- Comprobar que los pesos iniciales tienen una varianza excesiva para el tamaño de la capa.
- Recordar que la varianza de la activación se multiplica capa a capa y explota.
- Aplicar Xavier o He según la activación para fijar la varianza correcta.
- Añadir batch norm para recentrar cada capa dentro del lote.
- Subir la tasa de aprendizaje con confianza y ver que la señal deja de dispararse.
¿Para qué sirve en la realidad?
Inicializar y normalizar bien es la diferencia entre un entrenamiento que despega y uno que se apaga o explota antes de la primera época: cuesta poco y ahorra horas de ajuste.
Inicializar todos los pesos en cero es problemático porque:
La inicialización de He está calibrada para activaciones ReLU, que recortan la mitad de la señal.
Inicialización
Toca una tarjeta para ver la respuesta.
Ordena el razonamiento para inicializar y normalizar una red profunda:
Arrastra cada ficha a su categoría (o tócala y luego toca la categoría). También puedes usar el teclado.
Normalización por lotesMecanismo de batch norm y su efecto sobre el entrenamiento.
Une cada técnica con lo que resuelve.
Empezar bien es medio entrenar
- Inicialización y normalización
- Arranque
- ni ceros ni enormes
- ni ceros ni enormes
- romper simetría
- Arranque
- según la activación
- centra por capa
- estadísticas acumuladas
Inicialización de pesosEstrategias de inicialización y su efecto sobre la varianza.
Cambias de tanh a ReLU en una red profunda y el entrenamiento se descontrola. ¿Qué dos ajustes de inicialización y normalización tocarías primero y por qué?
Tu texto se guarda sólo en este dispositivo.
Comentarios
Inicia sesión para comentar.
Todavía no hay comentarios. Sé la primera persona en opinar.