Pensar en términos de pérdida
Qué es una función de pérdida
Es un número que resume cuán mal está el modelo en una predicción: cero si acierta pleno, mayor cuanto más se desvía. Entrenar consiste en ajustar parámetros para reducir la pérdida media sobre los datos. Sin esa función medible y minimizable, no hay aprendizaje posible.
Pérdida frente a métrica
La pérdida es lo que el optimizador minimiza; la métrica es lo que a ti te importa para juzgar el resultado. Deben alinearse, pero no siempre se puede: muchas métricas útiles —como el área bajo la curva— no son derivables. Entonces se optimiza una pérdida sustituta que la aproxime.
Cómo la pérdida moldea la conducta
Cuadrar el error castiga duramente los fallos grandes y premia predecir el promedio; usar valor absoluto hace al modelo resistente a atípicos pero orientarlo a la mediana. Cambiar la fórmula cambia qué predicción resulta óptima, incluso con los mismos datos.
Pérdida cuadrática
La de errores cuadráticos medios —mse— es la reina de la regresión: suave, derivable y con interpretación estadística bajo normalidad. Su talón de Aquiles es la sensibilidad a outliers, que al cuadrarse dominan el total y desvían la solución.
Pérdidas robustas
El valor absoluto medio o la pérdida de Huber reducen el poder de los atípicos: penalizan linealmente en vez de cuadráticamente. Cuando los datos tienen colas pesadas o errores de medición, una pérdida robusta evita que unos pocos casos secuestren el modelo.
Entropía cruzada
En clasificación, la pérdida estrella es la entropía cruzada: castiga con severidad asignar baja probabilidad a la clase correcta. Es la contrapartida natural de maximizar la verosimilitud y produce probabilidades bien calibradas cuando el modelo es expresivo.
Pérdidas de margen
Las de tipo margen —como la de bisagra, soporte de las máquinas de vectores— solo se preocupan por los puntos cerca o al lado equivocado de la frontera, ignorando a los ya bien clasificados. Fomentan soluciones con margen amplio y robustez.
Pérdidas desiguales
No todos los errores cuestan lo mismo: un falso negativo médico puede ser grave, un falso positivo molestia. Se pondera la pérdida por clase o por coste, alineando el número que se minimiza con el daño real que se quiere evitar.
El albedrío del coste
Cuando el problema es de decisión, la pérdida debe reflejar el coste de cada error, no solo su frecuencia. Optimizar exactitud cuando el coste es asimétrico produce modelos que parecen buenos y deciden mal. La pérdida es donde la economía del problema entra en las matemáticas.
Errores frecuentes
- Optimizar una métrica no derivable directamente en lugar de una pérdida sustituta.
- Ignorar la asimetría de costes y tratar todos los errores por igual.
- Quedarse con la pérdida por defecto sin preguntarse qué conducta induce.
Ejemplo resuelto: diseñar la pérdida de un detector de fraude
El objetivo de negocio es frenar el fraude real sin saturar al equipo de revisión. El diseño:
- Partir del daño: dejar pasar fraude cuesta mucho más que molestar con una alerta falsa.
- Traducir a error: el falso negativo es el que duele, así que debe pesar más en la pérdida.
- Elegir la forma: entropía cruzada ponderada, con más peso en la clase fraudulenta.
- Revisar la conducta: si la tasa de alertas falsas se dispara, subir el coste del positivo falso.
- Alinear métrica y pérdida: informar con coste total evitado, no con exactitud.
¿Para qué sirve en la realidad?
Los modelos rara vez fallan por matemáticas y sí por objetivos mal traducidos: un detector que persigue la exactitud puede ignorar el uno por ciento de casos que concentran el daño. Definir la pérdida es escribir el contrato entre el negocio y el modelo.
¿Por qué a menudo se optimiza una pérdida sustituta en vez de la métrica que realmente importa?
Cambiar la función de pérdida puede alterar la predicción óptima aunque los datos no cambien.
Diseñar la pérdida, diseñar el modelo
Pensar en términos de pérdida disciplina la definición del problema: obliga a explicitar qué es un buen resultado y a qué coste. Antes de tocar un algoritmo, la pregunta productiva no es «qué modelo uso» sino «qué error quiero minimizar y cuánto me cuesta cada tipo de equivocación».
Pérdida
Ordena el razonamiento para fijar la pérdida de un problema:
Negocio
Error
Forma
Sustituta
Explained
Intuiciones visuales sobre funciones de pérdida y su optimización.
Une cada función de pérdida con el comportamiento que induce.
Perder menos
# Función de pérdida ## Qué es ### número que puntúa el error ### guía el entrenamiento ## Formas ### cuadrática ### absoluta ### entropía cruzada ### bisagra ## Métrica ### lo que importa al final ### la pérdida la aproxima ## Costes ### asimétricos ### ponderar por tipo de error
Funciones de pérdida en machine learning
Guía en español sobre los tipos de pérdida y cuándo usar cada una.
Un modelo de fraude detecta el noventa y ocho por ciento pero casi todos los avisos son falsos positivos. ¿Está mal elegido el modelo o mal definida la pérdida? ¿Cómo la reformularías?