Convexidad y optimalidad

Función convexa

Una función es convexa si el segmento que une dos puntos de su gráfica queda por encima de la curva. Formalmente, su valor en combinaciones convexas no supera la combinación de valores.

Conjunto convexo

Un conjunto es convexo si, tomados dos puntos suyos, todo el segmento entre ellos sigue dentro. La región factible convexa es clave para que el problema sea bueno.

Por qué importa la convexidad

• Todo mínimo local de una convexa es mínimo global.
• No hay óptimos falsos donde quedar atrapado.
• Los métodos descendentes convergen con garantías.

Condición de primer orden

Para una función diferenciable y convexa, el gradiente nulo caracteriza el mínimo: si la pendiente en todas las direcciones es cero, estás en el óptimo. Es el criterio que usan los métodos de gradiente.

Gradiente como pendiente

El gradiente apunta a la dirección de máximo crecimiento local. Anularlo equivale a estar en un punto llano; en convexos, ese punto llano es el mínimo global.

Condición de segundo orden

La Hessiana —matriz de segundas derivadas— informa sobre la curvatura. Si es semidefinida positiva en todo el dominio, la función es convexa; refuerza y a veces prueba la optimalidad.

Criterio de convexidad

Comprobar que la Hessiana es positiva semidefinida certifica convexidad. Sumar funciones convexas y componer con funciones crecientes convexas conserva la propiedad.

Óptimos en la frontera

Con restricciones, el óptimo puede quedar en el borde de la región factible, donde el gradiente ya no se anula pero no puede bajar más. Ahí entran las condiciones con restricciones.

Más allá de lo convexo

Muchos problemas reales de aprendizaje profundo no son convexos: abundan los mínimos locales y puntos de silla. La convexidad es un ideal reconfortante, no la regla del mundo moderno.

Valor de la garantía

Cuando el problema es convexo, el algoritmo puede parar confiando en haber hallado el mejor. Sin convexidad, esa confianza se pierde y hay que contentarse con buenas soluciones.

Errores frecuentes

• Asumir convexidad sin comprobarla y confiar en que el óptimo hallado sea el global.
• Aceptar el primer punto estacionario: el gradiente nulo también define máximos y puntos de silla.
• Extrapolar las garantías convexas al aprendizaje profundo, donde el paisaje está lleno de trampas.

Ejemplo resuelto: certificar un mínimo

Tienes una función de coste y quieres asegurar que tu solución es la mejor posible:

1. Verificas que el dominio y la función son convexos, o compruebas la desigualdad definitoria.
2. Calculas el gradiente y resuelves el sistema donde se anula.
3. Formas la Hessiana y compruebas que es semidefinida positiva.
4. Concluyes: gradiente nulo más convexidad equivalen a mínimo global.
5. Si la Hessiana falla en algún punto, declaras el problema no convexo y buscas con más cautela.

¿Para qué sirve en la realidad?

La regresión lineal regularizada o la cartera de inversión media-varianza son convexas: saberlo autoriza a parar con garantía. Y saber cuándo no lo es evita confiar ciegamente en un óptimo local.

Función convexa
Definición y propiedades de la convexidad.

# Convexidad y optimalidad
## Geometria
### valle de un fondo
### segmento por encima
## Primer orden
### gradiente nulo
### criterio de parada
## Segundo orden
### hessiana
### curvatura positiva
## Limites
### no convexos
### minimos locales falsos

Matriz Hessiana
Las segundas derivadas que delatan la curvatura de una función.