Monitoreo y deriva

Por qué un modelo se degrada

• Cambian las distribuciones de las variables de entrada.
• Cambian las relaciones entre entrada y objetivo.
• Cambian los costes, el público o el contexto.

Deriva de datos (covariate shift)

Las entradas se desplazan respecto a las vistas en entrenamiento. El modelo sigue aplicando la función aprendida, pero ya sobre un territorio para el que no fue calibrado.

Deriva de concepto

No cambian las entradas sino la relación entre estas y la respuesta. Lo que antes predecía bien deja de predecirlo, aunque las variables se vean iguales.

La trampa de la etiqueta tardía

Muchas veces no se conoce la respuesta correcta hasta pasados días o semanas, y el deterioro no es inmediatamente medible. Hay que apoyarse en señales indirectas.

Monitorizar distribución de entradas

• Comparar la distribución actual con la de entrenamiento.
• Alarmar cuando una variable se desvía de forma anómala.
• Detecta deriva sin esperar etiquetas.

Estadísticos de deriva

Métricas como PSI o divergencia de Kullback-Liebler cuantifican cuánto se ha movido una distribución. Superado un umbral, salta la alerta.

Vigilar la calidad de la predicción

Cuando llegan etiquetas retardadas, se recalculan las métricas reales. Verlas caer confirma y dimensiona el daño.

Señales de negocio

• Cambios en conversiones o en decisiones tomadas.
• Quejas o anulaciones como proxy de errores.
• El negocio delata fallos que la estadística aún no mide.

Ventanas de referencia y monitoreo

Comparar una ventana reciente contra una histórica establece el criterio de normalidad y hace visible la deriva lenta que el día a día esconde.

Alertas y umbral sensible

Demasiadas alertas generan fatiga; demasiadas pocas, sorpresas. Ajustar umbrales y enrutarlas al equipo correcto es parte del sistema.

Responde: reentrenar o revisar

Al confirmar deriva, la respuesta puede ser reentrenar con datos frescos o revisar el propio pipeline. Primero hay que diagnosticar qué cambió.

El coste de no vigilar

Un modelo degradado toma decisiones malas con toda confianza, silenciosamente. La ausencia de monitoría no evita el fallo: lo esconde.

Errores frecuentes

• Confiar solo en el accuracy de entrenamiento y dar por bueno un modelo ya desfasado.
• Esperar a tener etiquetas para mirar el desempeño, cuando llegan con semanas de retraso.
• Disparar tantas alertas que el equipo acaba por ignorarlas todas.

Ejemplo resuelto: detectar deriva en un modelo de precios

Un modelo de precios ve caer sus conversiones aunque las métricas offline sigan bien. Al comparar la distribución actual de las entradas con la de entrenamiento, el PSI de una variable supera el umbral: el mercado cambió. Se reentrena con datos frescos antes de que la pérdida crezca.

1. registrar las distribuciones de entrada y el desempeño en producción
2. comparar la ventana reciente contra la de referencia
3. saltar la alerta al superarse el umbral del estadístico de deriva
4. diagnosticar si cambió la distribución de datos o el propio concepto
5. reentrenar con datos frescos o revisar el pipeline

¿Para qué sirve en la realidad?

Modelos de fraude, precios o recomendación se oxidan cuando el mundo cambia; monitorear el deriva permite reaccionar antes de que las decisiones malas, tomadas con toda confianza, causen un daño visible en el negocio.

Deriva de concepto
Cambio de la relación objetivo-variables en flujos de datos.

# Deriva del modelo
## Causas
### cambian entradas
### cambia la relación
### cambia el contexto
## Tipos
### deriva de datos
### deriva de concepto
## Detección
### PSI
### ventanas de referencia
### etiquetas tardías
### señales de negocio
## Respuesta
### diagnosticar
### reentrenar
### revisar pipeline

Detección de anomalías
Identificar observaciones que se desvían del comportamiento esperado de un sistema.