Validación temporal y métricas
Por qué el tiempo manda
En series, observar el instante t puede filtrar información sobre t+1. Un split aleatorio reparte vecinos temporales entre entrenamiento y prueba, y la validación deja de ser honesta.
Split temporal simple
- Se entrena con el tramo inicial y se prueba con el final.
- Respeta la flecha del tiempo: nada del futuro contamina el pasado.
- Una sola partición puede depender de qué periodo se elija como prueba.
Validación en ventana rodante
Se repite el ejercicio desplazando la ventana: entrena hasta t, predice el horizonte, avanza y vuelve a probar. Da una estimación de error más estable al prometer varios tramos.
Horizonte de pronóstico
Hay que decidir de cuánto hacia delante se predice y medir por separado cada paso. Los errores suelen crecer con el horizonte: predecir mañana es más fácil que predecir en un año.
Métricas en la escala original
MAE, MSE y RMSE miden el error en las unidades de la serie. RMSE castiga más los grandes fallos al elevar al cuadrado, útil cuando los errores graves duelen de verdad.
Métricas relativas
MAPE expresa el error en porcentaje, comparable entre series de distinta escala. Pero se dispara con valores cercanos a cero y castiga de forma asimétrica.
MASE y errores escalados
El MASE compara el error con el de un pronóstico ingenuo, dando una medida adimensional y robusta a ceros. Por debajo de uno significa batir al método más simple.
Backtesting honesto
Reproducir el proceso completo de decisión sobre el pasado, incluida la selección de modelo, evita optimismos. Si eliges el modelo mirando la prueba, ya no es prueba.
Cuidado con el sobreajuste a la validación
Ajustar mil hiperparámetros para mejorar una única ventana equivale a memorizarla. Conviene varias ventanas y sensatez, no persecución de la última décima.
Comunicar la incertidumbre
Además del punto, informar intervalos de predicción comunica el riesgo. Un número sin margen puede invitar a decisiones temerarias.
Errores frecuentes
- Validar con un split aleatorio que reparte vecinos temporales y deja ver el futuro al modelo.
- Elegir el modelo mirando la única ventana de prueba: la selección contamina y el error se subestima.
- Usar MAPE sobre series con ceros o valores ínfimos, que dispara el porcentaje sin sentido.
Ejemplo resuelto: validar la previsión de demanda
Tienes dos años de demanda diaria y quieres estimar el error real de tu modelo:
- Reservas los últimos tres meses como horizonte de prueba, sin tocarlos.
- Entrenas solo con el tramo anterior y predices el mes siguiente.
- Desplazas la ventana un paso y repites: es la ventana rodante.
- Promedias el RMSE de todos los tramos para un error estable.
- Comparas con el pronóstico ingenuo vía MASE para saber si aportas algo.
¿Para qué sirve en la realidad?
Antes de desplegar cualquier modelo de previsión en producción, un backtesting honesto con ventana rodante es lo que separa una métrica bonita en el cuaderno de un error que se sostendrá mañana.
En series temporales se evita el split aleatorio de validación principalmente porque:
La métrica MAPE resulta problemática cuando los valores reales se acercan a cero.
Validación
Ordena el protocolo de validación honesta de un pronóstico:
Reservar
Entrenar
Predecir
Medir
MAPE
Métrica de error porcentual y sus limitaciones.
Une cada métrica de error con lo que mide o conviene.
Nunca entrenes con el futuro
# Validación temporal ## Split ### pasado a futuro ### una partición ## Rodante ### varias ventanas ### error estable ## En escala ### mae y rmse ### mse ## Relativas ### mape ### mase
Tu modelo gana en una única ventana de validación pero pierde con usuarios nuevos. ¿Qué cambiarías en el protocolo de validación para detectar antes ese optimismo?