Gradiente e intuición multivariable

Una función de varias variables tiene una pendiente por cada variable. Cada una de esas pendientes es una derivada parcial: se deriva respecto a una variable tratando las demás como constantes.

Derivadas parciales

• Notación: la derivada parcial respecto a cada variable.
• Geométricamente, la inclinación al cortar la superficie por un plano paralelo a un eje.
• Juntas forman el vector gradiente.

El vector gradiente

El gradiente recoge todas las derivadas parciales en un vector. Su dirección apunta al crecimiento local más rápido de la función, y su longitud, a cuán pronunciado es ese crecimiento.

Máximo crecimiento

• Moverse en la dirección del gradiente sube lo más rápido posible.
• Moverse contra él baja lo más rápido: la idea del descenso.
• En direcciones perpendiculares, la subida es menor o nula.

Superficies y curvas de nivel

Una función de dos variables define un paisaje de alturas. Las curvas de nivel unen puntos de igual valor, como un mapa topográfico; el gradiente es perpendicular a la curva de nivel, apuntando ladera arriba.

Puntos críticos multivariable

• Ocurren donde el gradiente se anula por completo: ninguna dirección sube.
• Pueden ser mínimos, máximos o puntos de silla.
• Los puntos de silla son la piedra en el zapato del descenso de gradiente.

Descenso de gradiente

Para minimizar una función, se da un paso en la dirección opuesta al gradiente, con un tamaño controlado por una tasa de aprendizaje. Repetir el paso desciende por la superficie hacia un mínimo.

La tasa de aprendizaje

• Un paso demasiado grande oscila o diverge.
• Un paso demasiado pequeño tarda una eternidad.
• Elegirla bien es un equilibrio entre velocidad y estabilidad.

Gradientes y aprendizaje automático

• La pérdida de un modelo es una función de sus pesos.
• El gradiente de la pérdida marca cómo cambiar cada peso para reducirla.
• La retropropagación calcula esos gradientes con la regla de la cadena.

Interpretación de las parciales

Cada componente del gradiente dice cuánto mejoraría (o empeoraría) el objetivo al mover un poco ese parámetro. Es una tabla de sensibilidades que explica qué palancas importan.

Cuidado con la escala

• Si las variables están en escalas muy distintas, el gradiente se inclina hacia las grandes.
• Normalizar las entradas equilibra los pasos por dirección.
• Es una razón práctica para preprocesar los datos.

Errores frecuentes

• Creer que el gradiente anula todas las direcciones por igual: solo marca la de mayor subida.
• Ignorar la escala de las variables y dejar que una domine el paso del descenso.
• Confundir un punto de silla con un mínimo porque la pendiente local es nula.

Ejemplo resuelto: leer un gradiente

Supón que en un punto el gradiente de una función tiene por componentes dos y menos uno. Interpreta esos valores y deduce hacia dónde moverte para bajar.

1. La primera componente vale dos: al aumentar x, la función sube deprisa en esa dirección.
2. La segunda vale menos uno: al aumentar y, la función baja.
3. El gradiente apunta a la subida más pronunciada, combinando ambas pendientes.
4. Para descender hay que moverse en la dirección opuesta al gradiente.
5. El tamaño del paso lo fija la tasa de aprendizaje, que no conviene exagerar.

¿Para qué sirve en la realidad?

El gradiente es la brújula del aprendizaje automático: al entrenar un modelo, el gradiente de la pérdida respecto a cada peso indica cómo tocarlo para reducir el error, y repetir esos pequeños pasos es lo que entrena las redes neuronales.

Descenso de gradiente
Optimización iterativa siguiendo la dirección opuesta al gradiente.

# Gradiente multivariable
## Parciales
### una pendiente por variable
### las demás se mantienen fijas
## Gradiente
### vector de parciales
### apunta a la subida más rápida
## Descenso
### paso opuesto al gradiente
### tasa de aprendizaje
### puntos de silla

Gradiente
Definición y propiedades del vector de derivadas parciales.