Regularización Ridge y Lasso

El sobreajuste

Un modelo flexible puede adaptarse tan bien a los datos de entrenamiento que incluye sus particularidades aleatorias. Acierta en lo visto y falla en lo nuevo. El sobreajuste crece con la complejidad del modelo y con la escasez de datos, y es el enemigo central de la predicción.

El compromiso sesgo-varianza

Todo modelo comete dos errores: sesgo por ser demasiado rígido y varianza por ser demasiado sensible al azar de la muestra. Reducir uno suele aumentar el otro. El error total tiene un óptimo en un punto de complejidad intermedia, ni subajustado ni sobreajustado.

Por qué penalizar

La regularización añade al criterio de ajuste un término que crece con el tamaño de los coeficientes, penalizando la complejidad. El modelo sigue buscando buen ajuste, pero ahora le sale caro ser extremo: equilibra bondad contra grandeza de sus parámetros.

Ridge

La regresión Ridge penaliza la suma de los coeficientes al cuadrado. Al ser una esfera suave, encoge todos los coeficientes hacia cero sin anularlos del todo. Estabiliza especialmente la multicolinealidad, repartiendo el peso entre predictores correlacionados.

Lasso

El Lasso penaliza la suma de los valores absolutos de los coeficientes. Su geometría con esquinas hace que algunos coeficientes caigan exactamente a cero, realizando una selección de variables automática. Da modelos dispersos, más interpretables.

Ridge frente a Lasso

• Ridge: encoge sin eliminar, bueno con muchos predictores pequeños y colineales.
• Lasso: anula los irrelevantes, bueno cuando se cree que solo unas pocas variables importan.
• Ridge nunca da dispersión; Lasso sí, con el riesgo de elegir una u otra variable equivalente al azar.

Elastic net

Combinar ambas penalizaciones en una mezcla (elastic net) recoge lo mejor de las dos: la estabilidad de Ridge ante grupos correlacionados y la selección dispersa de Lasso. Un parámetro extra controla la proporción de cada una.

Escalar antes de penalizar

La penalización castiga el tamaño absoluto de los coeficientes, que depende de las unidades de cada variable. Sin tipificar, una variable en metros penaría distinto que en kilómetros. Estandarizar las predictoras antes de regularizar es obligatorio.

Elegir la fuerza de penalización

El parámetro de regularización es el dial que fija cuán modesto será el modelo: cero recupera la regresión ordinaria; muy grande aplasta todo hacia cero. Su valor óptimo se elige con validación, no a ojo.

Selección por validación cruzada

Se barre una retícula de valores del parámetro, evaluando cada uno con validación cruzada, y se elige el que minimiza el error de predicción en datos no vistos. A veces se prefiere el más parsimonioso dentro del margen de error estándar.

Caminos de regularización

Al ir reduciendo la penalización, los coeficientes entran y se mueven trazando «caminos»: el Lasso muestra el orden en que las variables se vuelven relevantes. Ver los caminos ayuda a intuir qué predictores sostienen el modelo.

Regularizar no es solo para lineal

La idea de penalizar la complejidad trasciende la regresión lineal: aparece en redes neuronales (caída, decaimiento de pesos), en modelos aditivos (penalización de la rugosidad) y en casi cualquier estimador flexible. Es un principio general, no un truco.

Errores frecuentes

• Regularizar sin estandarizar las variables, penalizando por unidades y no por relevancia.
• Elegir el parámetro de penalización para maximizar el ajuste en entrenamiento.
• Esperar que el Lasso recupere siempre el conjunto «verdadero» de variables con datos ruidosos.

Interpretabilidad y dispersión

Un modelo que devuelve algunos coeficientes a cero no solo predice: comunica. En dominios donde explicar importa, la selección implícita del Lasso es un premio adicional a la mera mejora de generalización, al entregar un conjunto compacto de variables.

El precio del sesgo introducido

La regularización introduce sesgo al encoger coeficientes: a cambio reduce varianza. Cuando el objetivo es estimar coeficientes «insesgados» para inferencia, penalizar puede distorsionar la lectura. De nuevo, predictivo frente a inferencial decide la herramienta.

Interpretable ML
Caminos de regularización y selección de variables explicados.