Evaluación de Modelos · Machine Learning

Métricas de regresión (MAE, RMSE, R²)

Distinguir los errores absolutos y cuadráticos en regresión y saber interpretar cada métrica, con sus unidades y sus sensibilidades al outlier.

Métricas de regresión (MAE, RMSE, R²)

No es cuánto fallas, sino cómo Un error medio de diez euros suena neutro, pero esconde si son diez euros siempre o dos euros casi siempre y cien en un día fatídico. Las métricas de regresión no solo miden cuánto fallas: revelan cómo fallas.

Medir el error en valores continuos

En regresión no hay acierto o fallo binario: hay distancias entre lo predicho y lo real. Cada métrica resume esas distancias en un número, y la elección cambia qué se penaliza más: los fallos pequeños repetidos o los grandes aislados.

Error absoluto medio

El MAE promedia los valores absolutos de los errores, ignorando su signo. Se lee en las mismas unidades que la variable: «de media, nos vamos tres grados». Es robusto porque un fallo enorme pesa solo linealmente, sin amplificarse.

Raíz del error cuadrático medio

El rmse eleva al cuadrado los errores, los promedia y devuelve la raíz. Al cuadrar, castiga con severidad los fallos grandes: un error de diez vale como cien. Su unidad también es la original, pero su sensibilidad lo vuelve implacable con los extremos.

MAE frente a RMSE

Si mae y rmse coinciden, los errores son uniformes; si rmse dispara muy por encima, hay unos pocos fallos catastróficos dominando el total. Comparar ambas es un diagnóstico gratis sobre la forma del error, no solo su tamaño.

Nube de puntos dispersos alrededor de una recta de ajuste, con barras verticales que marcan la distancia entre lo predicho y lo real.
En regresión el error es la distancia vertical entre el punto observado y la recta predicha; mae y rmse resumen de forma distinta esas distancias.

El problema de las unidades

Ni mae ni rmse son comparables entre problemas: un rmse de mil es terrible para predecir euros y maravilloso para predecir ventas globales. Para comparar entre conjuntos hace falta normalizar, o recurrir a métricas adimensionales como el r cuadrado.

Error porcentual: MAPE

El mape expresa el error en porcentaje de la magnitud real, lo que lo hace intuitivo y comparable. Pero explota cuando el valor verdadero se acerca a cero —dividir por algo mínimo infla el porcentaje— y castiga asimétricamente sobreestimaciones y subestimaciones.

R cuadrada

El r cuadrado mide qué fracción de la varianza de la variable explica el modelo, respecto a predecir siempre la media. Vale uno cuando el ajuste es perfecto y cero cuando no mejoras nada sobre la media; puede incluso ser negativo con modelos pésimos.

Interpretar R cuadrado con cuidado

Un r cuadrado alto no prueba un buen modelo: basta con añadir predictores para inflarlo en entrenamiento. Mide ajuste, no causalidad ni validez. Conviene mirar su versión ajustada o, mejor, su valor en datos vírgenes.

Errores frecuentes

Ejemplo resuelto: elegir métrica para un modelo de demanda

Una cadena de tiendas predice las ventas diarias y discute qué métrica reportar al equipo. El procedimiento:

  1. Calcular mae: promediar el valor absoluto de los errores, en unidades de venta, para el fallo típico.
  2. Calcular rmse: cuadrar, promediar y raizar, dando más peso a los días de error grave.
  3. Comparar ambas: si rmse supera mucho a mae, hay pocos días catastróficos que atender primero.
  4. Mirar la r cuadrada de validación para ver cuánta varianza explica el modelo frente a la media.
  5. Alinear la métrica con el coste real: si los picos mal previstos cuestan caro, optimizar rmse.

¿Para qué sirve en la realidad?

En planificación, precios y logística la elección de métrica cambia la decisión: el mae protege el funcionamiento medio, el rmse obliga a cazar los extremos que rompen el servicio, y la r cuadrada comunica a negocio cuánta variabilidad real captura el pronóstico.

Si el rmse de un modelo es mucho mayor que su mae, ¿qué sugiere?

El r cuadrado nunca puede ser negativo.

Elegir la métrica según el coste

Si todos los errores importan igual, el mae es honesto y robusto. Si los fallos grandes son inaceptables —predicción de picos de demanda—, el rmse obliga a atacarlos. La métrica debe alinearse con el coste real del error en el negocio.

Regresión

Error medio en unidades originales, robusto
mae
Amplifica errores grandes al cuadrar
rmse
Fraccion de varianza explicada
r cuadrada
Error en porcentaje, problematico cerca de cero
mape
Si rmse mucho mayor que mae hay...
outliers

Ordena el cálculo del rmse:

Resta
Cuadra
Promedia
Raiz

Une cada métrica de regresión con lo que mide.

No es cuánto fallas, sino cómo

# Métricas de regresión
## mae
### unidad original
### robusto
## rmse
### castiga extremos
### misma unidad
## r cuadrada
### varianza explicada
### adimensional
## mape
### porcentaje
### inestable en cero

MAE frente a RMSE
Comparación clara entre error absoluto medio y error cuadrático medio con ejemplos.

Tu modelo de precios tiene r cuadrado cero coma noventa y cinco en entrenamiento y cero coma cuarenta en prueba. ¿Qué te dice esa brecha y hacia dónde mirarías?